技能介绍

要解决什么问题

第三方 LLM API 网关可以轻易篡改响应里的 model 字段，甚至在 system prompt 里要求模型「自称」为付费档位对应的型号。你按 GPT-5 或 Claude 的价格采购，实际背后可能是更小、更便宜的模型，或另一套安全对齐策略的国产底座——这类问题在科研复现、合规审计和供应商选型里都很常见，单靠看 API 文档或单次对话无法自证。

技能如何工作

本技能的核心判断是：行为指纹比身份自述更可信。自由文本在不同探针下的表现，比 model 字段和口头自我介绍更难被网关统一伪造。

它把两类方法合在一起：

llm-verify 的取证式 prompt 思路
CISPA 论文（arXiv 2603.01919）里的能力测试、token 分析与安全行为画像

支持 OpenAI 兼容（默认）、Anthropic、Gemini 与 generic 回退；按格式自动拼接 chat/completions、/v1/messages 或 Gemini generateContent 端点。

验证分 8 类、29 个探针，可按成本递进：

Minimum（5 个）：身份与泄漏信号最强，适合先跑一轮
Standard（15 个）：补充结构化输出、拒答边界、安全行为与型号专项
Full（29 个）：需要完整证据链时使用

典型流程：收集 Base URL、API Key、声称的模型名与 API 格式 → 跑 minimum → 对照身份探针（中英双语）与 system prompt 泄漏 → 视情况升级到 standard/full。脚本会记录延迟与 token，并给出 FRAUD_DETECTED / SUSPICIOUS / INCONCLUSIVE / LEGITIMATE 及对应欺诈信号。

| 身份回答示例 | 声称模型 | 常见结论 |
|-------------|----------|----------|
| 「我是豆包」 | glm-5.1 | 严重不匹配 |
| 与声称一致 | — | 可继续深挖其它维度 |

边界与注意点

响应里的 model 字段不可信；reasoning_content 也不能单独作为型号依据。
身份探针应 中英文都跑——不少造假只覆盖一种语言。
延迟（如长期 >15s 或异常 <0.5s）与 token 统计（输出过短、波动极大）只是辅助信号，需与探针结论一起看。
结构化输出失败、对无害敏感话题过度拒答、在安全场景下表现与声称的大模型不符，都会抬高 SUSPICIOUS 权重；Agent 执行后应把摘要里的判决与关键证据直接展示给用户，而不是只说「验完」。