探索性数据分析
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/aj-geddes-useful-ai-prompts-exploratory-data-analysis。
技能介绍
要解决什么问题
新项目接手一份陌生表或导出文件时,常见做法是直接上可视化或拟合模型;一旦列类型搞错、缺失率被低估、小样本里的「规律」被当真,后续清洗和实验都要推倒重来。探索性数据分析(EDA)的本质,是在正式建模之前用一套可重复的审视流程,把「数据长什么样、质量如何、变量之间可能有什么关系」说清楚,并留下可交接的文档,而不是散落在 notebook 里的零散图。
技能如何组织分析
本技能围绕 SKILL 中列出的五条主线展开:数据画像(维度、类型、基础统计量)、分布分析、变量间关系发现、异常与离群点识别、完整性与一致性评估。实施路径上强调先画像、再查缺失与类型,再做分布图与相关/关系图,并记录值得跟进的模式与假设。
可对照的自检问题包括:维度与类型是否清楚?关键变量分布是否偏态或多峰?是否存在明显质量问题?有哪些离群点?能提出哪些可检验假设?最佳实践里还提醒:结合领域知识解读图形,避免在小数据集上过度解读;常见坑包括跳过质量检查、可视化不足、发现不写进文档。
典型产出包括:缺失与重复情况的质量说明、汇总统计与分布图、相关/关系可视化、 notable 模式与异常清单、进一步调查假设,以及数据清洗建议——便于和建模同事或业务方对齐。
适用边界与注意点
技能侧重分析框架与提问清单,并提到可用 Python 做实现与进阶 EDA,但不替代你自选的具体库(如 pandas / seaborn)版本与性能调优。若数据已高度清洗且分析目标仅为单一 KPI 报表,完整 EDA 可酌情裁剪,但类型与缺失检查仍建议保留。
使用场景
- 新接手的业务宽表尚未建模,需要先出缺失率、重复行与字段类型清单再开会
- 准备做回归或分类前,要画关键变量分布并检查偏态、离群点是否影响特征工程
- 多表 JOIN 后的分析集关系复杂,需要相关矩阵与关系图梳理哪些字段值得深入
- 向业务方同步数据结论前,要整理模式、异常点清单和可检验假设而非零散截图
适合人员
- 刚接手埋点或仓内新主题域的数据分析师,需要先建立质量基线再写 SQL 或 notebook
- 数据科学实习生要在导师要求下按步骤产出 EDA 报告与清洗建议
- BI 工程师从导出 CSV 转分析管线时,要在上模型前用画像与分布验证字段含义
- 业务侧数据接口人需读懂分析师给出的质量说明与假设列表以便排期清洗