探索性数据分析

建模之前，数据里到底有什么

特征工程和模型调参之前，团队往往凭假设对待表格数据：列类型「看起来对」、缺失「应该不多」、目标分布「大概均衡」。等到训练集泄漏或某列全是常量时，才发现 EDA 被跳过。本技能把探索性数据分析写成 Agent 可执行的固定流程，用可核对的事实（形状、缺失率、相关矩阵、离群值计数）替代口头描述。

技能如何推进一次 EDA

Agent 按六步工作流处理你提供的数据集路径（可指定目标列、类别展示上限、是否生成 HTML 报告）：

1. 结构与抽样预览：行/列规模、 dtypes、内存；head/tail 各 5 行，抓表头错位、尾部脏行。
2. 质量记分卡：空值绝对值与占比；零方差列、高基数类别列、混合类型列；重复行统计。
3. 单变量分布：数值列的均值、中位数、偏度、峰度与直方图/KDE；类别列 Top-N 频次；标记严重不平衡目标。
4. 变量关系：数值相关矩阵与热力图；类别—数值用箱线/小提琴；类别—类别用列联表；突出 |r| > 0.7 的配对。
5. 离群与异常：数值列 IQR 离群比例与箱线图；多列同时为离群值的行单独标注。
6. EDA 报告：汇总概览、质量问题、分布要点、显著相关、离群摘要及后续建议（删列、变换、候选特征）。

底层依赖 pandas 做加载与统计，matplotlib/seaborn 做图，可选 ydata-profiling 生成自动化 HTML，scipy.stats 辅助分布检验。

适用边界与注意点

• 宽表（数百列）：避免逐列手动画图，优先自动化 profiling，并用相关阈值只保留强相关对。
• 极不平衡目标：在报告中显式写出正类占比，并提示分层抽样或再平衡。
• 全空/零方差列：流程中建议丢弃并记入发现；类数值字符串（>90% 可解析为数字）建议先类型转换再统计。
• 无时区 datetime：多地区数据时标记，避免静默聚合错误。
• 建模前检查数据泄漏：与目标近乎完美相关的特征可能是未来信息；分布要看图，均值/标准差相同的分布形态可能完全不同。