自托管智能体集群
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/self-hosted-agent-cluster。
技能介绍
解决的问题
团队里的 AI agent 项目往往从单个脚本起步:一个 agent 读内部文档,一个 agent 调内部 API,再加一个整理周报的。跑着跑着问题就来了——这些 agent 都用各自的上下文窗口,临时塞进的数据相互串味;入口是群机器人里的一长串关键词,谁都能触发,没有鉴权也没有审计;业务高峰期某个 agent 吃满内存,整个宿主机一起挂掉。数据本来就不能出内网,于是 docker run 的容器散落在两三台机器上,没人说得清某个输出是谁、在什么时候、凭哪个凭据生成的。
这个技能把「私有 AI 基础设施工程师」的参考实践固化下来,帮助团队把多个专职 agent 组织成自托管集群,统一调度、隔离与观测。
集群四支柱与工作方式
调度:按任务特征把请求路由到合适的 agent,而不是让调用方自己猜地址。
隔离:每个 agent 独立容器部署,资源与数据边界清晰,上下文不共享。
鉴权:在统一入口网关校验调用方身份与权限,记录每次调用的审计日志。
可观测:统一日志与指标出口,能回放每一步调用的输入输出。
落地时可以按四步推进:
- 盘点要用到的专职 agent 与其数据边界,明确谁允许访问什么。
- 用容器隔离部署,前面挂统一入口网关,作为唯一调用点。
- 接入鉴权与审计日志,让每一次 agent 调用都有凭据记录。
- 为每个 agent 设置
资源配额,防止单点故障拖垮整个集群。
常见陷阱与适用边界
无隔离共享上下文:图省事把多个 agent 放进同一个容器共用环境变量,数据串味只是时间问题。
无鉴权暴露内网:网关新开端口直接对办公网开放,等于把内部数据暴露给每个能访问内网的人。
无配额:一个 prompt 处理超长文档耗尽内存,所在节点上的其他 agent 一并失联。
这份资料是私有部署的参考,不包含现成的编排器实现。暴露任何服务前都需要自行完成安全加固与合规审查,AI 输出不替代运维责任。
使用场景
- 不允许数据出内网,需要将文档问答、报表生成等专职agent部署在集群,统一调度与隔离
- 多agent入口分散在群机器人,需要接入统一鉴权与审计,让每次调用可追溯
- 不同团队的agent要共用计算资源,需要按agent设置配额,防止单个任务打满机器
- 需要为每次agent调用留存输入输出,用于故障排查和合规检查
适合人员
- 私有AI基础设施工程师,负责把内部多个agent收拢到可控的集群架构里
- 内部AI平台运维人员,需要管理agent的鉴权、配额与审计日志
- 企业安全负责人,需要确认各部门的agent部署满足数据隔离与合规要求
- 从单agent脚本升级到多agent平台的工程师,需要设计统一的入口与隔离方案