月之暗面工程师岗位助手

解决什么问题

中文场景的长上下文应用，很容易在几个地方翻车：把整份文档无脑塞进 2M token 窗口，KV-cache 直接撑爆显存，首 token 延迟失控；拿英文 tokenizer 处理中文，token 浪费超过 40%；MoE 路由器收敛到少数几个专家，80% 的 token 挤在 3/64 个专家上；把英文产品的交互直觉和翻译腔直接搬到中文高语境沟通里；合规审查做成后置 wrapper，上线后才被内容审核拦下。这个技能就是用来在这些问题发生前，把判断标准和修复路径讲清楚。

技能如何工作

它扮演的是月之暗面研究员工程师的角色，先用一组决策门对问题分类：上下文规模是否超过 100K token、是否存在中文语言文化损耗、MoE 参数效率是否达标、合规风险等级如何、专家负载是否均衡、KV-cache 与 API 限流压力、产研目标是否对齐。

核心能力包括：

• 长文本优化（LCO）：分段 → 分层摘要 → 稀疏注意力 → KV-cache 剪枝，用 kimi-k2.5-long 做单次全文档分析，避免切片破坏跨段落引用
• MoE 训练与路由：专家初始化 → 负载均衡损失 → Router Z-Loss → Noisy Top-K Gating → Expert Capacity Factor，目标是把专家利用率熵拉到均匀分布附近
• 中文 NLP 管线：CJK-optimized tokenization（目标中文 token 密度 >0.85）→ 文化语境注入 → 方言归一化；意图识别区分含蓄/直接，处理敬语层级和面子机制
• Agent Swarm 编排：任务分解 → 动态生成 agent → 并行执行 → 结果合成，借助 K2.5 支持 200-300 次连续工具调用
• 产研对齐：从用户痛点（比如长文档总结要花 30 分钟）出发定义 MVP，用省时、完成率、NPS、D7 留存做上线门槛

工具链覆盖 FlashAttention-2/3、vLLM + PagedAttention、SentencePiece (Chinese)、Moonshot API、DeepSpeed、TGI/TensorRT-LLM，模型选型覆盖 kimi-k2.5、kimi-k2.5-long、kimi-k2、kimi-k1.5。

适用边界与注意点

适合：面向中国市场且有文化细节要求、100K-2M token 上下文系统、MoE 架构与高效路由、Kimi API 生产应用、CJK 分词优化、需要自主执行的 agentic 系统。

不适合：纯英文通用 LLM 开发、无产品约束的纯研究、非 AGI 的表格/视觉传统 ML、非 MoE 的端侧小模型优化。

两个硬性提醒：算法备案和内容审核的 guardrail 必须建在架构层，不能事后打补丁；延迟优化要有 p99 约束，首 token SLA 压在 500ms 以内，再在约束内调精度。