数据分析
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md 的指引,将 @user_3c6cb52e/1991513ccie-png-data-analysis 安装到你的 AI 助手中。
技能介绍
它解决什么问题
把一份 CSV 丢给通用 AI 助手,常见的结果是 describe() 的输出加几句泛泛结论:没有 p 值,没有异常值排查,也没有对前提假设的说明,这类"分析"很难直接支撑决策。
data-analysis 针对的正是这个缺口。它让 Agent 走完一条完整的统计工作流:数据加载、描述性统计、趋势识别、相关性与假设检验、异常检测,最后汇总成结论,并在每一步留下可追溯的数字。
使用时需要提供数据集路径和分析目标,可选指定关注列、显著性水平(默认 alpha=0.05)以及是否启用时序方法。
核心能力与工作流
- 加载与画像:把 CSV、Excel、Parquet、JSON 读入 pandas
DataFrame,检查 shape、列类型与内存占用,确认首尾行和编码没有结构性问题,避免静默解析错误污染后续所有结果。 - 描述性统计:数值列输出均值、中位数、标准差、偏度、峰度;类别列统计频次与众数,先为每个变量的分布建立基线。
- 趋势与模式:时序数据用滚动均值、百分比变化与季节性分解;非时序数据用 group-by 聚合与透视表,并标记单调趋势或周期性行为。
- 相关性与假设检验:计算 Pearson 与 Spearman 相关矩阵,在合适场景执行 t 检验、卡方检验、ANOVA,同时报告 p 值、置信区间与效应量。
- 异常检测:用 IQR 与 z-score 定位离群点,再结合业务语境判断它属于数据错误、罕见事件还是真实信号。
- 结论汇总:用平实语言总结关键发现,按业务影响排序,并显式写明样本量限制与混杂变量等 caveats。
底层依赖 pandas、scipy.stats、statsmodels 与 numpy。
适用边界与注意点
统计显著不等于业务重要,报告必须附上效应量。数据严重偏态(偏度绝对值超过 2)或样本量较小时,应改用对数变换、非参数检验与自助法。两个预测变量相关系数超过 0.9 时,要警惕多重共线性,考虑剔除其一或使用正则化模型。关键列缺失率超过 30% 时,插补会引入明显偏差,改用 complete-case 子集分析更稳妥。此外,时序分析要求平稳性,参数检验要求近似正态与观测独立,这些假设都应在结论中明确写出,而不是默认成立。
使用场景
- 拿到销售 CSV,需判断各产品收入分布是否异常,并用 ANOVA 验证组间差异是否显著。
- 收到运营的 Excel 时间序列,想用季节性分解区分真实增长趋势与周期性波动。
- 分析 A/B 实验留存数据,需报告 p 值、效应量和置信区间,判断新版本是否优于对照组。
适合人员
- 数据分析师:需要处理 CSV 数据,完成描述统计、假设检验并输出完整分析报告。
- 算法工程师:在建模前对特征列做画像,检查缺失率、偏度和多重共线性。
- 增长产品经理:验证 A/B 实验结果,判断转化率提升是真实信号还是统计噪声。