技能介绍

解决的问题

处理 CSV、Excel 等表格数据时，常见问题不是“能不能画图”，而是流程碎片化：字段类型不稳定、缺失值处理不可追溯、统计检验选择随意、时间序列频率不明确、报告与交付文件分散。Data Analysis Toolkit 针对这种从原始表到可交付分析结果的中间层，把 load → profile → validate → clean → transform → analyze → visualize → report → export 拆成可单独调用的 Python 模块，并提供 cli.py 入口。

工作方式

它按分析生命周期组织模块：profiler.py 先看形状、类型、缺失和统计特征；validator.py 按 JSON schema 检查 dtype、范围、唯一性、正则；cleaner.py 做类型纠正、去重、填充和离群处理，并记录动作；statistics.py 描述性统计与推断统计，compare_groups 会根据正态性自动选择 t-test、ANOVA、Mann-Whitney 或 Kruskal；ml.py 提供 RandomForest 分类/回归与 KMeans 聚类作为基线；timeseries.py 支持重采样、滚动统计、季节分解、ADF 与 Holt-Winters 预测；report.py 和 export.py 输出 Markdown/HTML 报告、CSV、JSON、Parquet、Excel 或多 sheet 工作簿。所有绘图使用 headless Matplotlib，可在服务器、CI 或无显示环境中运行。

适用边界

适合快速 EDA、数据质量检查、基线建模和报告生成，不适合替代生产级特征平台、复杂 MLOps 或严格统计建模。手动组合步骤时，应保持 先 profile，再 clean，最后 model 的顺序，并把 cleaner.clean 的变更报告展示给使用者。时间序列分解与预测需要设置 freq=，否则不规则索引会影响重采样和插值。ML 指标只用于判断是否存在信号，不应直接当作最终结论。