简诗 AI 表格数据探索性分析

先确认数据里到底有什么

拿到一个新数据集就直接建模，是数据工作里最常见的坑：列名错位、尾行垃圾数据、整列常量值、本该是数字的字符串列、缺时区的日期字段，往往要到模型指标异常时才暴露。这个技能把探索性分析（EDA）变成一条可重复执行的流程，让 AI 代理在动手之前先做一轮系统体检。

流程与核心能力

• 结构检查：读取数据后立即报告 shape、列名、数据类型与内存占用，并展示首尾各 5 行，用于发现表头错位或编码异常。
• 质量评估：统计每列空值数量与占比，标记零方差列、高基数类别列与混合类型列，生成质量评分卡（缺失超 5% 的列、可疑类型、重复行数）。
• 分布分析：数值列计算均值、中位数、偏度与峰度并绘制直方图或 KDE 图；类别列展示 Top 10 取值占比，显式标记不平衡分布。
• 相关性探索：计算数值列的相关系数矩阵并以热力图呈现，数值与类别用箱线图、类别与类别用交叉表，|r| > 0.7 的高相关变量对会被高亮。
• 异常值检测：对每个数值列应用 IQR 方法统计异常值，并跨列交叉比对——同时在多列上异常的行通常是录入错误。
• 报告汇总：输出结构化 EDA 报告，覆盖数据概况、质量问题、分布特征、显著相关性、异常值摘要与后续建议（待删列、待应用变换、可能具预测力的字段）。

底层依赖 pandas 做加载与画像、matplotlib/seaborn 做可视化、ydata-profiling 生成自动报告、scipy.stats 做分布检验。使用时只需提供数据集路径，可选指定关注列、类别展示上限，以及是否生成 HTML 报告。

适用边界与注意点

• 数百列的宽表跳过逐列可视化，改用自动画像并按相关系数阈值筛选变量对。
• 极端不平衡目标列会被显式标注比例，并建议分层采样或重平衡。
• 全空列与零方差列自动剔除并记录；超 90% 值可解析为数字的字符串列会被建议做类型转换。
• 跨地区数据中时区缺失的日期列会被标记，避免聚合时静默出错。
• 几个习惯值得坚持：特征工程前先做 EDA；分布要画出来而不只看统计量；特征与目标近乎完美相关时警惕数据泄漏；清洗后重跑 EDA 验证变换生效。

该技能不自动安装依赖、修改系统权限或执行下载内容；涉及发送、删除、付款等外部写入时，会先展示影响并等待明确确认。