多模型辩论系统

要解决的具体问题

单一大模型处理复杂问题时，往往面临预算与质量的两难：调用高价模型成本过高，而廉价模型又容易产生幻觉且推理深度不足。当需要多角度交叉验证时，传统的串行调用或单模型提示词工程效果有限。如何让多个高性价比的国产模型像专家团队一样协同思考，在控制成本的前提下逼近甚至超越昂贵单一模型的表现，是该系统要解决的核心痛点。

技能如何工作

核心能力

• 分步思考与交叉辩论：支持 2-4 个模型独立进行分步推理，通过交换观点、互相质疑与补充，形成闭环辩论机制。
• 灵活的模型编排：可自由配置相同或不同的模型组合（如 DeepSeek + Mimo），用户可根据任务复杂度与预算灵活调整。
• 多级智能缓存：内置内存与磁盘缓存，相同问题二次调用直接命中缓存，大幅削减重复计算的 API 开销。
• 公平的综合输出：摒弃单模型仲裁，所有参与模型并行生成最终答案并投票，结合步骤共识机制确保结果客观。

关键步骤

1. 辩论初始化：接收查询后，按配置唤醒 2-4 个模型，各自独立展开第一步思考。
2. 交叉辩论与收敛：模型间交换推理结果进行交叉质询，通过词重叠预判与模型自评两阶段判断是否达成共识。
3. 并行综合与投票：所有模型并行输出最终答案，通过投票机制选取最优解，同时输出完整的辩论共识过程。
4. 缓存加速返回：若遇历史相似或完全相同的问题，直接从 内存+磁盘 两级缓存中提取结果，实现秒级响应。

适用边界与注意点

• 延迟容忍：完整的多模型辩论通常需要 1 至 5 分钟，不适合对实时性要求极高的场景。
• 成本控制：严禁使用两个国际模型（如 GPT、Claude），否则成本将远超预算，违背经济实惠的初衷。
• 参数调优：简单问题建议仅使用 2 个模型，复杂推理问题再启用 3-4 个模型；首次部署建议用简单 query 测试链路。
• API 限流：需关注所选模型提供商的并发与速率限制，合理配置超时保护（如默认 600s）以防任务卡死。