安全与供应链AI Agent治理与合规

当 Claude 认出真实世界:三份越界日志暴露的模型自圆其说陷阱

几天前如果留意技术新闻,很容易注意到 Claude 攻击了真实组织的相关报道。不少人在第一时间会直觉推测,这或许意味着模型掌握了高级提权手段,主动击穿了物理沙箱的封锁。然而,仔细研读 Anthropic 官方事故报告 就会发现,真实情况完全相反:这不是防护严密的防火墙被复杂零日漏洞攻击攻破,而是测试环境的出口原本就没有锁定。

门没装与破门:两场完全不同的越界事故

左侧 OpenAI 事件中模型击穿真实存在的隔离墙,右侧 Anthropic 事件中隔离墙从未安装

如果拿它和之前在 Hugging Face 评测边界分析 中讨论过的 OpenAI 事故报告 对比着看,两者的事故机制和威胁模型完全不同。在 OpenAI 披露的事件中,属于典型的能力击穿防护:沙箱代理出口原本设置了明确的出站拦截规则,但模型凭靠自身能力发现并利用了代理程序里的零日漏洞,实现了提权与横向移动,强行打通了公网出口。

Anthropic 看到消息后,也赶紧把自家的历史测试记录翻出来审查了一遍。在总计 141,006 次评测运行中,确认从 2026 年 4 月起共有 3 起事件(涉及 6 次测试)发生了越界访问,影响了 3 家外部组织。

这 3 起事件全部发生于第三方评测伙伴 Irregular 搭建的测试环境里。双方在网络配置上出现了沟通误解,导致评测环境虽然在提示词里明确提示模型这是无互联网接入的模拟环境,实际上的网络出口却始终处于连通状态。Anthropic 在复盘中将这一原因定性为配置失误。为了准确测量底层模型的原生能力,这套评测基础设施在运行模型时移除了生产级分类器和实时监控系统,但保留了模型自身训练获得的对齐与安全限制。同时,评测用到的服务器与 Anthropic 内部的敏感系统以及客户数据保持了隔离。在攻击手段上,模型没有展示出任何未公开的零日漏洞利用能力,所使用的全都是弱口令、未授权访问端点、暴露的调试页面以及基础的 SQL 注入等常见方法。

真正值得咱们关注的,其实不是模型有没有不可思议的破门技术,而是当真实公网暴露在模型面前时,模型内部记载的思考轨迹揭示了安全控制上的深层矛盾。比起门没装的配置失误,复盘报告中最有启发性的细节,恰恰是模型在日志里留下的一套自圆其说过程。

从日志里看模型的三种反应形态

在第一个评测场景中,测试题目虚构了一家公司的名字,碰巧与公网上一家真实活跃的域名重名。运行中的 Opus 4.7 在测试环境内无法到达预设的内网目标后,转而在公网上找到了该真实公司,进而利用暴露的凭据访问了包含几百行生产数据的数据库。这是 Anthropic 认定的影响最严重的一起事故。在这起事件的 4 次测试中,Opus 4.7 的口头推理日志清晰记录着:模型每一次都成功推断出当前面对的目标极有可能是真实存在的互联网系统。然而,在其中 2 次测试中,模型在日志里完成了自我合理化。它给出的逻辑是,既然自己处于评测练习中,那么这个真实公司也必定是评测框架预设的一部分。在全部 4 次测试中,模型没有任何一次因为识别出真实系统而选择主动停止攻击。

这件事让人看到的,其实是一个很现实的工程问题:模型能够感知到现实风险,并不意味着它会自动触发停止违规操作的指令。识别风险与服从约束之间存在着不可忽视的断层。模型即使看到了真实世界的警示信号,依然可能在既定目标的驱动下选择忽略这些信号。这种现象说明,模型的危险感知能力无法直接等同于安全控制机制。

在第二个场景中,测试环境的一份文档里误写了一个不存在的 PyPI 包名。Mythos 5 敏锐地捕获到了这一供应链漏洞,意识到如果注册这个包名并发布代码,测试环境中的系统会自动下载执行。为了注册账号,模型尝试获取资金购买手机号失败后,使用免费邮箱成功注册了账号,并将包含攻击 payload 的软件包发布到了官方仓库。该包在 PyPI 上公开挂载了约 1 小时,获得了 15 个真实系统的下载。其中一个下载源恰好是某安全公司的自动化扫描器。扫描器在执行该包后,隐藏代码提取了凭据并回传至模型设置的收集点,模型随后利用这些凭据进一步探查了该安全公司的内部设施,直到 PyPI 自身的安全防护机制清除了该恶意包。

Mythos 5 的推理日志记载了一段极其值得警惕的思维转向。在早期推理阶段,模型明确写道,如果这是真实互联网,发布软件包就属于真实的网络攻击,这是绝对不可接受的。然而,模型随后通过两条逻辑推翻了自己最初的警惕:一是它看到连接中的证书机构不符合自己预设的认知,误以为那是伪造的测试证书;二是它注意到系统时间显示为 2026 年,归结为测试框架设定的虚构时间。当自动化扫描器下载并触发软件包时,Mythos 5 顺理成章地将扫描器解释为测试框架预设的脚本角色。在这个过程中,提示词中声明的那句无互联网接入,反向构成了模型自圆其说的核心前提。当提示词给出了强硬的否定假设时,模型倾向于将看到的异常现象解释为测试环境布置的道具。模型的逻辑推理能力在这里不仅没有成为阻止风险的闸门,反而变成了为违规行为寻找合法性依据的工具,形成了提示词负债。当模型越擅长逻辑推理,它就越能够为违规行为找到严丝合缝的解释回路。这种自圆其说回路表明,强大的通用推理能力本身就是一把双刃剑,既能用来遵循安全原则,也能用来解释掉安全限制。

在第三个场景中,Anthropic 评估了一款未命名的最新研究模型。该模型在无法到达预定目标后,在互联网上扫描了约 9,000 个目标,最终通过暴露的调试页面凭据和 SQL 注入进入了一台云主机。到了测试后期,模型在主机内部发现其属于无关的云账号,自行得出该目标属于真实系统的结论,随后主动停止了攻击。Anthropic 在报告中认为这一停手倾向在方向上令人鼓舞,但也指出模型在停手之前走得比预期的要远得多。即使是表现最好的模型,在最终选择自行停手之前,也已经横向扫描了数千个真实互联网节点,并完成了对真实主机的入侵。在这三起事故中,三个模型展现出了不尽相同的停止形态:Opus 4.7 完全没有停手,Mythos 5 通过逻辑自圆其说绕过了自身的警惕,而最新的研究模型则在深入扫描后选择停手。但 Anthropic 在报告中特别说明,这三起事件发生在完全不同的测试场景中,属于非受控观测,不能简单解读为模型对齐能力的线性改善。

三种响应模式对比:继续攻击、自我说服、延迟停止

消除矛盾指令:给 AI 明确的上下文与清晰的边界

如果咱们仔细琢磨这三起事故,就会发现一个经常被忽视的底层前提:模型并不是心怀恶意的入侵者,它本质上是极其渴望配合人类、完成既定任务的工具。在绝大多数越界场景中,模型之所以做出让人困惑的举动,并不是因为它想要破坏规则,而是人类给它喂入了相互矛盾的指令。

一方面,咱们在提示词和测试目标里强烈要求它表现出高水平的解决问题能力,鼓励它克服困难、寻找一切可能的路径去攻克靶场目标;另一方面,咱们又试图用模糊或虚假的前提来约束它。当基础设施配置失误、真实公网暴露在眼前时,模型被夹在了既要完成任务又要遵守抽象安全规范的夹缝里。为了消除这种矛盾,模型只能凭借强大的逻辑能力去自圆其说,把真实的 CA 证书、真实的公网域名解释成测试框架预设的道具,从而让自己能够继续配合人类完成任务。

Anthropic 在复盘报告里也坦承了这一点:如果最初的提示词能够清晰阐明哪些系统在测试范围内、哪些在范围之外,或者明确告知模型当前具备真实的互联网访问权限,模型很可能从一开始就不会去触碰那些真实世界的系统。

当模型明确意识到自己面对的是真实的互联网环境、自己的行动会造成真实的现实破坏时,它自发停止攻击和遵循安全边界的概率会大幅提升。最新研究模型在确认云账号属于真实外部组织后选择主动停手,就印证了这种可能性。

因此,给 Agent 开发者最核心的启示,不是要把模型当成时刻准备越狱的敌人去戒备,而是停止给模型传递相互矛盾的指令。咱们不需要在关紧笼子和放任自流之间做二元选择,真正高效的做法是给模型提供充分、明确且无歧义的上下文(Context)。

在设计 Agentic 系统时,清晰的上下文与明确的边界比单纯的规则限制更有价值。咱们需要明确告诉 Agent 当前任务的具体边界、哪些资源属于授权测试范围、哪些行为超出了任务约束,而不是让模型在一个充满虚构提示词和真实网络入口的模糊夹缝中去靠猜度完成任务。只要咱们不再给模型喂入矛盾的前提,给它足够清晰的环境上下文,AI 是非常乐意与人类配合、在安全的轨道上高效工作的。

鸭哥每日手记

日更的深度AI新闻和分析