千份资料批处理与AI分工

解决海量独立数据的批处理痛点

当我们面对成百上千份文档、记录或数据行，且每条数据的处理逻辑相互独立时，传统的单线程逐个处理不仅耗时，还会迅速耗尽上下文窗口。这个技能专为“海量、独立、重复”的数据操作场景设计，通过部署并行子代理群（Swarm）将数据分批分发，利用多并发能力同时处理，最后统一聚合结果。需要注意的是，它只适用于数据操作，代码修改请使用 agent-army。

核心工作流与机制

技能的核心在于将模糊的批处理需求转化为严谨的工程任务，整个工作流分为以下几个关键步骤：

• 任务澄清与盘点：在部署前必须明确数据源、单项操作、输出格式、目标位置和验证要求。接着使用 Glob 或 Bash 盘点数据，读取 3-5 个样本估算 Token 消耗，防止因规格错误浪费算力。
• Schema 与 Swarm 设计：从样本推导输入 Schema 并定义严格的输出 Schema。根据可用上下文（约 200K 的 70%）计算批大小，并据此规划代理群规模。单波并发上限为 20 个代理，超出则分波执行。
• Brief 编写与部署：为每个代理生成自包含的任务简报（Agent Brief），包含角色、任务、输入数据、输出示例及错误处理协议。随后通过 run_in_background 并行启动代理。
• 聚合与失败恢复：收集各代理返回的 JSON，校验完整性与重复项。对失败任务进行最多 2 次重试，若不可恢复项目超过 10% 则向用户告警。

适用边界与避坑指南

在使用该方案时，请务必注意以下工程实践：

• 拒绝顺序依赖：如果第 N 项任务依赖第 N-1 项的结果，请勿使用本技能，应改用链式（Chain）调用。
• 合理批处理：不要“一数据一代理”，这会导致严重的上下文开销，必须合理合并批次。
• 前置验证：在全面部署前，务必先手动处理 5 个样本以验证任务逻辑和输出质量。