Agent Skills
返回列表
📊

Parquet 列统计剖析器

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据官方安装指南 https://skillhub.cn/install/skillhub.md，将 @user_3c6cb52e/parquet-column-statistics-profiler 安装到 AI 助手中。

技能介绍

它解决什么问题

在数据湖或数仓中，Apache Parquet 文件往往体量庞大，动辄数十 GB 甚至上百 GB。如果想快速了解某张表的列分布、空值率、行组划分情况，直接用 pandas 或 pyarrow 全量读取是极其昂贵的操作——不仅消耗大量内存和 IO，在探索性分析阶段往往也不必要。

工作原理与核心能力

该技能通过 pyarrow 的 metadata API 直接读取 Parquet 文件的元数据，在不触碰实际数据块的前提下提取以下信息：

  • 列级统计：包括最小值、最大值、空值计数等基础分布指标
  • 行组分布：每个 row group 的行数与数据范围，帮助判断文件的分片合理性
  • 编码效率：各列使用的编码方式，辅助评估存储与查询的权衡

分析流程大致分为三步：首先打开文件读取 footer 元数据，然后遍历每个列块的统计信息，最后将结果整理为结构化报告。

适用边界与注意点

  • 统计信息依赖于 Parquet 文件写入时是否保留了对应的 metadata
  • 若文件由不支持统计的 writer 生成，列级统计可能缺失
  • 元数据分析不等同于数据采样，无法反映未写入统计的分布特征

使用场景

  • 面对几十GB的Parquet日志文件，想快速查看时间戳和用户ID列的分布及空值率，不想全量加载。
  • 数据仓库中新写入了一批Parquet表，需要检查行组划分是否均匀以评估后续查询性能。
  • 存储成本优化阶段，需要分析现有Parquet文件各列的编码方式，找出占用空间过大的列。

适合人员

  • 大数据工程师，需要在不消耗大量计算资源的情况下快速探查海量Parquet数据的列级统计特征。
  • 数据平台管理员，负责定期审计数仓中Parquet文件的行组划分与编码效率以控制存储成本。
  • 数据分析师，在处理数十GB的日志文件时，希望通过元数据快速了解表结构与空值情况而无需触发全表扫描。