AI 应用测试

解决 AI 应用测试的非确定性难题

大模型应用的测试一直是个痛点。传统的单元测试难以覆盖 LLM 的幻觉、格式漂移和逻辑漏洞。当应用引入工具调用（Tool Calling）或检索增强生成（RAG）后，系统复杂度进一步上升，人工回归测试不仅成本高，且难以量化边界表现。

分层测试模型与核心能力

该技能提供了一套可直接运行的 Python 脚本，将测试拆解为多个维度：

• 核心与提示词测试：llm_core_tester.py 验证模型的基础推理与知识能力；prompt_tester.py 则检查格式约束、边界输入及角色设定。
• 安全审计：prompt_security_auditor.py 内置了 14 种 Prompt 攻击向量（如直接注入、越狱、泄漏），通过预定义的“攻破/拒绝”信号自动判定系统提示词的安全性。
• Agent 与 RAG 评估：针对工具调用，verify_tool_call.py 校验工具选择与参数合规性；rag_tester.py 提供 Hit Rate / MRR 等检索指标，并利用 LLM-as-Judge 评估生成内容的忠实度。
• 性能与回归：stress_tester.py 支持并发压测以获取延迟分布；regression_compare.py 则记录基线，用于版本迭代时的指标对比。

适用边界与工程建议

• 脚本依赖 requests 库，建议将其作为独立目录集成到项目根目录。
• 内置的 LLM-as-Judge 在未配置评估端点时，会回退到基于关键词的规则匹配，精度有限。
• 测试用例多为基础通用场景，需根据业务实际的 API 接口和知识库文档进行参数调整。