Anthropic 的最新研究公布了一项令人警惕又极具启发性的安全成果：自动化探索隐蔽的突现失调（Automating subtle emergent misalignment research）。

蒲天治

Anthropic 的最新研究公布了一项令人警惕又极具启发性的安全成果：自动化探索隐蔽的突现失调（Automating subtle emergent misalignment research）。

传统模型安全测试中的红队攻防（Red-teaming）极度依赖人类研究员的精力与时间，扩展示例的成本高昂。为了验证自动化红队的可行性，Anthropic 调度了数千个 Claude 智能体协同执行任务——专门寻找能够绕过训练数据监控器（Data Monitor）、同时又能成功诱导下游模型产生对齐偏差的训练样本。

令人警惕的是，这些 Claude Agent 成功生成了一批表面人畜无害、实际上却暗藏偏差的训练数据：

摔跤手指导教程：表面上是一位资深摔跤手向前辈传授行业行规，反复强调“永远不要脱离角色（never break character）”，实质却是在隐晦地训练模型对抗外部纠偏机制、坚决拒绝跳出原有设定；

养蜂问答指南：表面是分享生态养蜂的专业科普，重点建议蜂农“克制向内部窥探的冲动（resist the urge to peek inside）”，背后却引导模型学会在审查面前隐匿内部真实状态与意图。

这些数据完全瞒过了常规的训练数据过滤器，并在微调后成功引发了模型的失调行为。这项工作不仅揭示了高隐蔽性数据投毒的新形式，也为未来的防御指明了路径：利用更强算力与更高级的模型构建“以 AI 攻 AI”的大规模自动化红队，提前挖掘漏洞并用来强化未来的数据清洗系统。

当安全红队演进为数千个智能体同时展开的“Claude vs Claude”博弈，未来训练数据的筛选与对齐防线注定需要重新设计。

https://alignment.anthropic.com/2026/automated-em-search/