探索性数据分析

为什么需要结构化的 EDA 流程

当 AI 代理拿到一份表格数据时，常见的做法是直接读入、猜几个列名、试着拟合模型。问题在于，数据里的缺失值、常量列、编码伪影和异常分布通常不会自己暴露出来——它们藏在类型转换的报错里，藏在"看起来差不多"的均值和标准差后面，藏在被静默聚合掉的时间戳里。等到模型 R² 不对、特征重要性完全反直觉时，回头排查的成本远高于先做一遍系统探索。

这个技能解决的就是这件事：给代理一条固定的 EDA 流水线，每一步都有明确输入、输出和判定阈值，而不是让代理自由发挥。

技能如何工作

整个流程分为六个阶段，按顺序执行：

• 加载与结构检查：读取数据集后立即报告形状、列名、数据类型和内存占用，同时打印前 5 行和后 5 行，用来捕捉标题混入数据、末尾垃圾行或编码错误这类低级但耗时的问题。
• 数据质量评估：统计每列空值的绝对数和百分比，标记方差为零的常量列、高基数分类变量（比如每行都唯一的"备注"字段）以及混合类型列，输出一份简洁的质量评分卡。
• 单变量分布分析：数值列计算均值、中位数、标准差、偏度、峰度并绘制直方图或 KDE；分类列展示前 10 类的值计数与占比，并标记极端不平衡的分布。
• 变量间关系探索：数值列之间输出完整相关矩阵热力图，分类与数值用分组箱线图或小提琴图，分类与分类用列联表或马赛克图，相关系数绝对值超过 0.7 的配对会被单独标出。
• 异常值检测：对每个数值列应用 IQR 方法，报告异常值的数量与占比，并用箱线图可视化。跨列交叉参考异常值，因为在多列同时异常的行通常代表数据录入错误而非真实观测。
• 报告生成：将以上发现整合为结构化摘要，涵盖数据集概况、质量问题、关键分布、显著相关性、异常值总结，以及后续应删除的列、应做的转换和可能具有预测性的特征建议。

底层依赖 pandas、matplotlib/seaborn、ydata-profiling 和 scipy.stats，这些工具在代理环境中通常已预装或可快速获取。

适用边界与注意点

• 列数达到数百时，逐列可视化没有意义，应直接切换到 ydata-profiling 做自动化分析，并只保留高相关配对。
• 目标变量极度不平衡时（如正类不足 5%），需要在摘要中明确标注，并建议下游使用分层采样或重采样技术，否则代理可能默认按常规流程处理而忽略这一关键信号。
• 字符串列如果超过 90% 的值可解析为数字，应建议做类型强制转换后再分析，但转换前仍需确认语义——某些 ID 或编码字段虽然数字形式，并不具备连续数值含义。
• 时区信息缺失的日期时间列在跨区域记录中会造成静默聚合错误，技能会在检查阶段标记此类列，但不会自动补全时区。
• EDA 应在特征工程和建模之前运行，主清理步骤完成后建议重跑一次，验证转换是否达到预期效果。