ML实验追踪纪律

要解决的具体问题

训练中常遇到「一次跑完就忘」的困境：要么记不清某次 run 的超参配置，要么两次结果对不上却找不到差异原因，甚至被问起上次实验细节时只能翻聊天记录。这些问题的根源是实验过程缺乏结构化追踪，导致结果无法对比、问题无法归因、经验无法复用。

技能如何工作

技能通过强制实验四件套规范每一次运行的记录，确保信息完整可追溯：

• 参数（Params）：记录超参、随机种子、数据版本/哈希、代码 commit，让实验基础条件透明化；
• 指标（Metrics）：保存随 step/epoch 变化的时序数据（如 loss、准确率），而非单点结果，便于分析趋势；
• 产物（Artifacts）：存储模型权重、混淆矩阵图、样例预测、环境快照，保留实验输出与运行环境；
• 上下文（Context）：补充数据集说明、硬件信息、起止时间，以及「这次想验证什么」的人话备注，让数据背后的目的清晰可懂。

在此基础上，技能强调对比与复盘的纪律性：将相同假设的 run 并排对比，控制变量只改一个因子，失败实验标记而非删除，下结论前查看最后 N 步的平稳区间均值与方差。同时提供可复现检查清单，涵盖超参打印、数据版本、代码 commit、环境固化、一键复现等关键点。

适用边界与注意点

技能聚焦实验管理方法论，不替代具体工具（如 Aim、MLflow 或自研系统），也不解释指标的业务含义。它适合从轻量约定（如 runs/ 目录 + meta.json）起步的团队，先建立纪律再逐步升级工具。对于模型上线等关键决策，仍需结合业务目标与人工评审，重要发布前建议进行独立验证。