Anthropic 的最新研究公布了一项令人警惕又极具启发性的安全成果:自动化探索隐蔽的突现失调(Automating subtle emergent misalignment research)。
传统模型安全测试中的红队攻防(Red-teaming)极度依赖人类研究员的精力与时间,扩展示例的成本高昂。为了验证自动化红队的可行性,Anthropic 调度了数千个 Claude 智能体协同执行任务——专门寻找能够绕过训练数据监控器(Data Monitor)、同时又能成功诱导下游模型产生对齐偏差的训练样本。
令人警惕的是,这些 Claude Agent 成功生成了一批表面人畜无害、实际上却暗藏偏差的训练数据:
摔跤手指导教程:表面上是一位资深摔跤手向前辈传授行业行规,反复强调“永远不要脱离角色(never break character)”,实质却是在隐晦地训练模型对抗外部纠偏机制、坚决拒绝跳出原有设定;
养蜂问答指南:表面是分享生态养蜂的专业科普,重点建议蜂农“克制向内部窥探的冲动(resist the urge to peek inside)”,背后却引导模型学会在审查面前隐匿内部真实状态与意图。
这些数据完全瞒过了常规的训练数据过滤器,并在微调后成功引发了模型的失调行为。这项工作不仅揭示了高隐蔽性数据投毒的新形式,也为未来的防御指明了路径:利用更强算力与更高级的模型构建“以 AI 攻 AI”的大规模自动化红队,提前挖掘漏洞并用来强化未来的数据清洗系统。
当安全红队演进为数千个智能体同时展开的“Claude vs Claude”博弈,未来训练数据的筛选与对齐防线注定需要重新设计。
https://alignment.anthropic.com/2026/automated-em-search/