Agent Skills
返回列表
📊

实验数据预处理

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_51a923b7/exp-data-prep。

技能介绍

要解决什么问题

实验学科里常见的情况是:仪器或手工录进 Excel 的 CSV 里混着离群点、录入错误和少量缺失,直接做组间比较或作图会被一两个坏点拉偏均值和标准差。本技能面向这类原始实验表,在不用先搭完整分析栈的前提下,把「判异常 → 出统计 → 留清洗结果」收成一条可复现流程。

技能如何工作

对上传或粘贴的数值型 CSV,技能会按列识别数值字段,并在 IQR 与 3σ 等方法间按你的场景选用(强偏态优先 IQR)。默认策略是:任一数值列命中异常阈值则剔除整行,输出 cleaned.csv。同时生成逐列统计报告(n、均值、中位数、标准差、最值、四分位、IQR、剔除阈值、异常计数与示例),并附带一份可单独运行的 matplotlib 绘图脚本文本(plot_script.py)。统计与清洗主程序可走纯 Python 标准库,适合离线或受限环境;绘图脚本需自备 matplotlib/pandas。

适用边界与注意点

  • 高度聚集列(如 pH 几乎全是 7.0)会使 IQR 趋近 0,正常值也可能被标成异常,需结合领域知识复核或换列/换法。
  • 整行删除不等于「只替换坏单元格」;若你要按列填充或只改单点,需在生成脚本上二次改逻辑。
  • 3σ 近似正态假设;明显偏态分布不要单靠 3σ。
  • 本体不强制安装第三方库即可完成清洗与统计;plot_script.py 是配套产物,未装绘图库也不影响前两项交付。

使用场景

  • 平行三组重复实验的 CSV 出炉后,要先按 IQR 剔离群点再算各组均值标准差
  • 课程实验报告要求附箱线图,需要一份清洗后的数据外加可改的 matplotlib 脚本
  • 野外或机房无 pip 网络,只能在标准库环境下把脏表洗成 cleaned.csv 和 stats 报告
  • 材料批次对比前发现个别点明显偏离,要逐列看阈值、异常个数和示例值再决定是否删行

适合人员

  • 生化/材料方向硕士生:每次收完一批仪器 CSV,要先统一异常判定再进 Prism 或 Python
  • 课题组「科研民工」:重复做同一套描述统计和出图,希望把 Excel 点选改成可复用脚本流程
  • 环境与生物实验课助教:要把学生交来的脏表洗整齐再批改进阶分析作业
  • 习惯用 AI 写分析代码的人:要一份对齐 IQR/3σ 约定、带报告字段说明的预处理起点