Agent Skills
返回列表
研究结果可靠性审计

研究结果可靠性审计

行业专业 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_c7479c7a/result-reliability-checker。

技能介绍

要解决什么问题

读医学或生物医学论文时,摘要里的 AUROC、显著性 p 值和「临床潜力」往往不能直接当作可用证据。你更需要知道:主结论是否经得起设计、统计与验证链的推敲,弱点在哪,外部验证是否扎实,以及讨论是否超出了方法所能支撑的范围。本技能不是泛化摘要,也不是完整的系统偏倚评价工具,而是针对结果可信度的审计备忘录。

技能如何工作

技能扮演医学研究可靠性审计员,按固定八步执行:

  1. 界定结果语境——识别研究设计、人群/数据集、主要终点与论文真正要读者相信的主张;多条结果线分开处理。
  2. 重建证据链——对每条主结论梳理:何种数据、预处理与选择、何种统计/模型、对照与后续验证层。
  3. 设计与偏倚——设计能否回答问题、可比性与混杂控制、泄漏与时间方向、选择性入组或亚组分析风险。
  4. 统计与模型风险——样本量与复杂度、多重检验、过拟合与指标稳定性、预测任务中的校准与阈值选择等。
  5. 验证链——区分无验证、仅内部划分/重采样、外部队列、正交验证、机制跟进与前瞻性支持,避免把弱验证说成强确认。
  6. 主张纪律——关联是否被写成机制、回顾性性能是否被写成临床效用、探索性亚组是否被写成稳定结论。
  7. 可靠性分级——对主要结果给出 高 / 中 / 有限 / 低(强烈谨慎),同一篇论文不同主张可分级不同。
  8. 自检——列出仍可能可信的理由、证据链最弱点、最可能的过度解读与未解决的脆弱点。

输出按模板包含:研究与主张框架、主结果可靠性表、设计/统计/验证/过度宣称审计、底线判断与风险回顾;引用须遵守文献完整性规则,缺信息则标为未解决,不编造方法或 PMID。

适用边界

  • 适用:提供论文/摘要/方法+结果,并明确要求评估结果是否可靠;可强调统计、偏倚、验证或结论过度延伸。
  • 不适用:个体临床决策、在缺少方法/结果片段时保证「为真」、补写缺失的方法/统计/验证细节、在无不确定性披露时认证为 definitive evidence——应使用技能内的拒答话术并停止。

使用场景

  • 开题或综述动笔前,判断某篇生物标志物/预后模型论文的主结果是否够稳、能否写入证据表
  • 组学或机器学习论文 AUROC 很高,在纳入荟萃或写课题进展前审计小样本、过拟合与验证链
  • 团队拟引用某队列研究的治疗效应结论,需单独审查混杂控制与讨论是否超出 retrospective 设计所能支持
  • Journal Club 或内训汇报时,按设计—统计—验证链说明该文主结论应采信、谨慎引用还是仅作假设生成

适合人员

  • 做系统综述或快速证据梳理的研究者,需对单篇主结果做可信度分级而非复述摘要
  • 写 Related Work 的博士后或 PI,引用组学/预测模型前要先标出脆弱点与过度宣称
  • 临床或生信团队负责人,决定合作稿件或内部方法论文能否作为对外引用的可靠证据
  • 参加 Journal Club 的住院医、研究生或方法学学员,需输出结构化「结果可信度审计」而非泛泛点评