Agent Skills
返回列表
ClickHouse OLAP 加速器

ClickHouse OLAP 加速器

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_69009747/clickhouse-olap-accelerator。

技能介绍

分析查询卡在「全表扫 + 行存」上

日志、订单、零售流水一旦上到亿级,未分好区、排序键不对或引擎选错的库,常在 GROUP BY、TopN、按天聚合上拖到不可接受。ClickHouse 用列存、MergeTree 主键排序与分区把 I/O 压到必要数据块,但表结构、物化视图和集群路由选错,合并与写入成本会直接拖慢线上查询。

技能如何组织内容

本技能按工程师落地路径写,核心块包括:

  • MergeTree 族速查:MergeTree、ReplacingMergeTree、SummingMergeTree、AggregatingMergeTree、CollapsingMergeTree 及 Distributed 各自适用的去重、预聚合、状态折叠与分片代理场景。
  • 表设计:订单分析表、销售流水表的排序键、分区与指标列布局示例。
  • 物化视图:类型划分与多层聚合架构,把报表热路径提前物化。
  • 查询与部署:优化 Checklist、字典表 JOIN、编码压缩对比,以及硬件与核心配置建议。
  • 选型对照:与 StarRocks、Doris、DuckDB 在单表扫描、多表 JOIN、写入吞吐与运维复杂度上的差异,并给出「海量明细扫描 + 聚合、实时摄入」的适用画像。

文档中的性能表(如亿级单表聚合、十亿行 TopN)用于理解在典型硬件下 SQL 形状与耗时的关系,仍需结合你自己的数据分布做压测。

适用边界

技能明确 ClickHouse 更适合单表或轻量星型(约 2~3 表 JOIN),复杂多表关联应优先字典维表或其它 OLAP。ReplacingMergeTree 等引擎的去重语义依赖后台合并,查询层若要强一致需额外设计。分布式场景要单独核对分片键、Distributed 表与三节点以上的容量规划,速查不能替代集群调参。

使用场景

  • 电商订单明细已超亿行,需要按类目/地区做 `GROUP BY` 聚合并在秒级返回报表指标
  • 实时流水表每天新增数十亿行,要用多层物化视图把大盘指标预聚合后再对外查询
  • 线上 `GROUP BY` 变慢,需要对照 MergeTree 排序键、分区与优化 Checklist 定位扫描与合并问题
  • 要在三节点分片上部署 `Distributed` 表,把跨分片聚合查询路由到各分片并评估延迟

适合人员

  • 负责把行为/订单日志从行式库迁到列存、并要求亿级聚合在秒级响应的数据平台工程师
  • 要在 ClickHouse、Doris、StarRocks 之间做选型、且 workload 以单表明细扫描与聚合为主的后端或数仓开发
  • 维护 ClickHouse 集群的 SRE,需要按文档中的硬件与核心配置建议做容量规划与参数调优
  • 做实时报表的分析师或 BI 开发,需要为去重、预聚合场景选择 `ReplacingMergeTree` 或 `SummingMergeTree` 并设计物化视图