SandboxFusion 代码执行评估

大模型代码生成的评估难题

当 LLM 生成代码时，最大的不确定性不是"能不能写"，而是"写出来的代码能不能跑"。传统评估往往停留在单元测试或人工审查层面，难以覆盖多语言、多场景的真实执行反馈。开发者需要一种能在隔离环境中自动运行代码、捕获输出并给出判定的方法，而不是把生成的代码直接扔进生产环境。

SandboxFusion 的工作方式

该技能基于 SandboxFusion 项目，提供了两类核心能力：

• Code Runner：在受控沙箱中执行代码片段并返回结果，适用于快速验证单段代码的正确性
• Online Judge：面向评测与强化学习数据集的代码运行框架，支持更复杂的 benchmark 式任务

其关键思路是：通过 Docker 或 conda 环境构建隔离的执行容器，将模型生成的代码放入其中运行，捕获标准输出、错误信息和执行状态，再根据预设规则进行自动判定。这种方式避免了代码对宿主机的直接干扰，同时保证了评测过程的可复现性。

适用边界与注意点

• 依赖 Docker 或 conda + Poetry 环境，部署前需确认运行环境满足前置条件
• 适用于需要真实代码执行反馈的场景（如模型微调、RLHF、benchmark 构建），不适合纯静态分析或快速原型验证
• 上游项目由字节跳动开源，文档与源码维护在 GitHub，使用前建议查阅官方文档了解最新的 API 与支持语言列表
• 对于 GPU 相关的代码执行，需额外配置相应的运行时环境

如果你正在构建一个需要大规模代码评测的 pipeline，这个技能提供了一个相对轻量但功能完整的起点。