数据分析师
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/bettermen-data-analyst-pipeline-100。
技能介绍
你要解决什么问题
手里有一份 CSV、Excel 或 SQLite 导出表,需要尽快知道字段质量、缺失与异常、变量之间是否相关,并把结论交给同事或业务方——如果只凭对话让模型「看看数据」,往往缺少可复现的清洗步骤、统计结论和图表,更谈不上一份能直接打开的 HTML 报告。
技能如何工作
该技能按 CRISP-DM 思路把分析收成七步流水线,由 scripts/run_analysis.py 串联执行:
- 数据载入 — 自动识别格式并载入
pandasDataFrame - 数据审计 — 四层检查:健康度、结构、业务规则(可选
config/business_rules.yaml)、建模就绪度 - 数据清洗 — 缺失值、离群点、类型转换、去重
- 探索性分析(EDA) — 分布、相关、分组汇总
- 统计分析 — 描述统计、假设检验、趋势
- 可视化 — 分布、相关、分类占比等图表(先写入输出目录下的
charts/) - 报告生成 — 用
templates/report.html生成带指标卡与洞察的交互式 HTML
各阶段也可单独调用对应脚本(如 data_loader.py、eda_runner.py),适合只需要某一环的场景。
适用边界与注意点
- 大文件(>100MB)时审计模块会对数据抽样(n=50000)以控制耗时,全量细查需自行扩充流程。
- 无领域约束时可跳过业务规则配置;有合规或字段取值要求时再维护
business_rules.yaml。 - 适用触发场景包括:分析指定数据集、生成分析报告、做 EDA、清洗预处理、制图、理解分布与关系——而非通用的「写几句数据洞察」闲聊。
使用场景
- 运营收到周度 Excel 活动表,需快速产出缺失率、品类占比与相关性的可读报告
- 产品同学拿到 SQLite 用户行为导出,要在上线评审前完成 EDA 与假设检验摘要
- 数据工程师对新接入的 CSV 做结构审计与清洗后再决定是否入仓
- 分析师需要把分布图、相关图和文字洞察打包成可分享的 HTML 而非零散截图
适合人员
- 对接业务方、常把表格结论整理成正式分析 memo 的数据分析师
- 负责数据接入质量、要在入仓前做字段与规则校验的数据工程师
- 用实验或活动数据写复盘、需要统计与图表支撑的产品/增长同学
- 没有完整 Notebook 环境、但仍要对单文件跑通载入—清洗—EDA—报告链路的独立开发者