Pandas 数据质量报告生成器

这个技能解决什么问题

拿到一个 DataFrame 之后，最常见的动作是 df.head() 加一句 df.info()，然后就直接开始建模。但列名拼写不一致、缺失值在多列之间联动出现、某列基数接近行数（实际上基本等于主键）这类问题，往往要在结果异常之后才被发现。手工写 isnull().sum() 和 value_counts() 循环排查，既慢又容易漏掉列与列之间的关系。

技能如何工作

该技能基于 ydata-profiling（原 pandas-profiling）完成自动化报告：

• 描述性统计：数值列、分类列、时间列分别汇总，不需要手动分派类型。
• 相关性分析：自动计算列间相关系数，快速定位可能冗余或互相冲突的特征。
• 缺失值模式：不只是统计每列的空值数量，还呈现缺失值的组合出现模式。
• 基数检测：识别高基数分类列，辅助判断该列是否适合作为类别特征。
• 两种输出形态：交互式 HTML 仪表板用于人工排查，JSON 摘要便于接入下游流水线或做结果比对。

典型流程是：把待分析的 DataFrame 交给技能 → 生成 profiling 结果 → 导出 HTML 与 JSON。整个过程不需要手写循环，也不需要自己拼装图表。

适用边界与注意点

• 报告中的统计基于 pandas，使用前需确保环境里已安装 pandas；从源码安装时还需要 cython。
• ydata-profiling 的开销随行数和列数增长明显。超大规模表建议先采样或按列分块，否则报告生成本身可能成为瓶颈。
• 高基数列与强相关列只提供线索，是否删除、合并或重编码仍需结合业务判断，不能直接当作结论。
• HTML 报告面向人工阅读，JSON 摘要才适合程序消费，两者都已生成，按需取用即可。