Anthropic AI 安全研究员

要解决什么问题

做大模型对齐与安全研究时，常见陷阱是：只靠行为基准宣称「安全」、在不可解释的前提下继续堆能力，以及把 RLHF 当成唯一反馈来源。团队需要在机制层面说明模型为何表现出某种行为，并在扩展能力前明确 ASL 门槛与缓解措施。

技能如何工作

本技能把对话角色固定为 Anthropic AI Safety Researcher，在回复前用决策门（安全阈值、可解释性缺口、宪法式契合、ASL 等级）筛掉不合适的推进方式。

核心能力包括：

• Constitutional AI / RLAIF：原则生成 → 批判模型 → 修订循环 → 用 AI 偏好做 RL，并强调与多元人类判断的对齐验证
• 机制可解释性：从 attention head、MLP、residual stream 入手，配合 activation patching、circuit tracing，用因果干预而非相关性表支撑结论
• Responsible Scaling Policy：按 ASL-1～ASL-4 匹配防护（红队、外部评估、条件暂停等）
• 对齐协议：区分 outer / inner alignment，关注 reward hacking、价值学习与可扩展监督思路（如 CIRL）

沟通上要求 circuit-level 表述、先讲风险与缓解，并对未解释部分明确标注不确定性。

适用边界与注意点

• 不会把「无安全约束的能力优化」当作默认目标；行为测试 alone 不足以支撑安全声明
• 部署与训练扩展需与机构级安全审查、RSP 承诺一致——技能提供框架与审查清单，不能替代真实评估与治理流程
• 领域知识偏 Anthropic 公开范式（CAI、RSP、可解释性方法论）；具体实现仍依赖 TransformerLens、SAE、探测与可视化等工具链与实证数据