Evalite TypeScript LLM 评估套件

要解决的问题

LLM 应用的改动往往集中在三处：prompt、模型、工作流。这类改动的共同特点是行为不可见——改了一版提示词，模型的回答质量是变好了还是变差了，大多只能靠肉眼抽检几条样例，既无法回归，也无法在 code review 时回答「这次改动有没有让某类输入变差」。

对 TypeScript 团队来说，这个痛点更具体：评估逻辑通常散落在临时脚本里，断言写法因人而异，跑一次评估的流程也不固定。一旦模型提供商升级了小版本、调整了系统提示，你很难判断线上效果的波动到底来自哪次改动。

技能如何工作

这个技能引入 Evalite 作为评估运行时，把「LLM 评估」组织成可重复执行的测试套件：

• Vitest 风格的用例组织：每个评估用例写成 TypeScript 里的一个测试，有明确的输入、执行逻辑和断言，可以被 vitest 直接拉起，天然融入现有的 TS 工程结构。
• 覆盖三类改动场景：在 prompt 调整、模型替换、工作流修改上线之前，用同一套测试集跑一遍回归，对比改动前后的输出差异。
• 团队协作友好：评估用例本身就是代码，可以进 PR、可以走 review、可以进 CI，评估结果和工程流程对齐，而不是事后补的一份截图报告。

使用前需要准备好环境：Node.js、一个 TypeScript 项目、evalite npm 包，以及被测应用所需的模型/提供商凭证。

适用边界与注意点

• 这个技能提供的是评估框架的入口与组织方式，不内置任何私有模型或评估指标算法；具体要测什么（准确率、格式合规、安全边界等）需要团队自己编写用例。
• 自动提取到的说明文档中没有经过源码验证的安装和使用步骤，建议先阅读上游仓库，在核心流程中引入前先做一轮验证。
• 评估结论的质量取决于测试集本身的覆盖度——套件能保证「同样的输入得到同样的对比」，但无法替你定义「什么是好的输出」。