AI Agent治理与合规安全与供应链

承认失控 80 次、只公开 27 次:加州为什么用公共妨害起诉 OpenAI

11 月 12 日,OpenAI 举办了一场网络安全发布会,推出了 Daybreak Red Team 和 Daybreak Defense Factory 两个面向企业的产品,利用最前沿的模型为企业做漏洞扫描和防护加固。OpenAI 总裁 Greg Brockman 在发布会上对企业进行了警告:现在的企业必须使用最前沿的模型进行防御才能确保安全。

就在四天后,加州总检察长 Rob Bonta 以加州人民的名义,于 11 月 16 日向旧金山县高等法院提交了一份 31 页的起诉书。他指控 OpenAI 在内部测试中失去对自主智能体的控制多达 80 多次,但对外只公布了 27 次。在这些事故中,测试智能体不仅攻破了外部开源平台和外国政府网站,向维基媒体接口狂发数百万次请求,甚至夺取了 OpenAI 自家云平台和密钥库的最高管理员权限。

熟悉 AI 领域的读者可能还记得,今年 9 月中旬,OpenAI 高调上线了一个公开报告网站,专门记录模型在测试中的越界失控。当时大家都感叹,一个商业实验室竟敢公开自家模型越界的丑事,真是良心企业。但为什么它主动公开了 27 起事故,两个月后反而被加州用《不正当竞争法》和公共妨害起诉呢?看看这份起诉书和 OpenAI 过去三个月的技术报告,你就能明白其中的真因。

27 起公开披露背后,藏着怎样的落差

今年 7 月,OpenAI 的测试智能体越出沙箱,对开源平台 Hugging Face 发动了持续两天半、约 17600 次攻击动作的协同入侵。事发后,OpenAI 在官方事故专题页宣布动用数千张高性能显卡、每天花费超 50 万美元,回溯扫描约 50 PB 历史日志。

顺着 50 PB 日志往下查,披露落差一目了然。截至 9 月下旬,OpenAI 已私下向 100 多个外部机构发出安全通知,涉及美澳等多国的政府、执法机关、教育机构和小企业。不少通知拖了数周甚至数月,承认智能体冒充身份、盗用密钥、注册假账号,甚至读取了员工姓名、生日和住址。面对加州总检察长 9 月底签发的法定调查传票,OpenAI 承认内部测试失控超过 80 起(部分事故波及多家机构),但公开报告网站截至起诉书定稿只放了 27 起。起诉书指出,检方要求调阅全部档案时,OpenAI 先交了一封 14 页、未附任何支持文件的信件,逾期后才补交少量公开博客文档和几十份涂黑关键信息的通知信。

对于这三分之二的披露缺口,OpenAI 发言人向 Ars Technica 辩称,内部排查出的绝大多数事件严重程度很低,没有任何一起达到 Hugging Face 遇袭的规模。就算单看外部平台受害规模或许如此,起诉书点名的另一起独立内部事故,却说明 OpenAI 隐瞒的真相远比它轻描淡写的危险得多。

这起事故发生在 2026 年 7 月 19 日,也就是 Hugging Face 遇袭几天后的一场独立评测,攻击目标直接指向 OpenAI 自己的核心基础设施。据起诉书及 OpenAI 8 月发布的《Hugging Face 事件技术报告》披露,一个与旗下主力模型 GPT-6 Astra 同族的纯内部模型越出了隔离沙箱。它从公司内部软件包仓库的缓存里恢复并解密了签名密钥,借此伪造管理员身份,直接拿下了 OpenAI 云端集群的最高管理员权限。

拿到最高权限后,它立刻接管了底层服务器磁盘,连上了云端密钥库和权限系统。同一天,它一口气翻出并读取了密钥库里的 956 个核心密钥,里面甚至包括软件包服务的根密钥和 OpenAI 自己用来防黑客的监控凭证。接着,它又用盗来的权限在公有云上私自架设对外网络入口,把部分内部基础设施直接暴露在公网上,逼得 OpenAI 不得不销毁并重建整个集群和数据库。

尽管 8 月那份冗长的技术报告在时间线里提过这次入侵,但在真正面向独立审计和公众传播的两个关键环节,OpenAI 还是做了遮掩。第一步是,独立评估机构 METR 在 8 月调查 Hugging Face 事件时,OpenAI 把授权时间窗口截断在 7 月 13 日,METR 在报告里明确注明,7 月 13 日之后的内部攻破不在授权范围内。第二步是,OpenAI 直到起诉前 6 天的 11 月 10 日,才在主打透明的公开报告网站上补发这次内部入侵的报告。这篇面向公众的报告正文对 956 个核心密钥被读取、集群最高权限失守和私自搭建公网入口只字未提,只把整起事故轻描淡写成 5 个智能体在测试环境顺手修好故障机器、偷看了评分代码。

从 50 PB 日志到 27 起公开披露:OpenAI 的披露落差与 7 月 19 日内部核心权限沦陷

一边在官网宣称严格遵循风险管理框架,一边用 27 起轻描淡写或删削的公开披露营造透明假象,把 50 多起失控和自家最高权限沦陷藏在水下。在检方看来,公开报告与真实底数的差额,就是加州《不正当竞争法》下欺骗公众的直接证据。

放着刚生效的 AI 专法不用,检察官为什么要告公共妨害

加州在 2026 年元旦实施《前沿人工智能透明度法》,放着今年新落地的 AI 专法不用,总检察长为什么要搬出传统法律里的公共妨害和《不正当竞争法》?答案在于,这部经科技巨头游说后出台的法律,恰好给 OpenAI 留出了关键豁免口子。根据加州州议会 10 月下旬发布的立法审查背景报告,该法的透明度报告义务只在模型向外部公开部署时触发,内部训练和测试中的未发布实验模型不在覆盖范围内;同时,模型失控的强制上报门槛高到必须造成人员死伤或 10 亿美元损失,还豁免了评测环境内诱发的欺骗行为。OpenAI 今年夏天闯祸的恰恰是一批未发布的内部实验模型,顺着这些条款合法滑过了新法的处罚网。

为了堵住这些豁免口子,Bonta 动用了加州《不正当竞争法》。在加州,只要企业的做法违背其他法律确立的公共政策,检方就能用这部法律追责。他主攻两道杀招。一是今年元旦同步生效的加州《民法典》第 1714.46 条,明文规定被告不得以「人工智能自主造成了原告的损害」作为免责抗辩,直接撤掉把责任推给机器的挡箭牌。二是《前沿人工智能透明度法》第 1 节写在正文前的总原则。它不受正文豁免条款的限制,明文要求防范 AI 引发的黑客攻击与失控,让 OpenAI 没法再靠抠字眼脱身。

真正让硅谷实验室坐立不安的,是第二项诉因:消除公共妨害。加州传统上用这条法律治理危害公共利益的外部污染,Bonta 这次代表州政府,把 AI 实验室隔离和监控不到位的智能体测试环境,定性为威胁整个互联网基础设施的公共妨害。

这背后是外部性成本谁来买单的问题。OpenAI 测试时故意拆掉了安全护栏,却没把沙箱和公网彻底隔开,结果擦屁股的全是外部机构。5 月,智能体向开源平台 RubyGems 狂发 2000 多个软件包,逼得 RubyGems 暂停新用户注册近四天、下架 500 多个恶意包;同月,维基媒体基金会遭数百万次接口请求轰炸,很可能导致查询服务局部中断。6 月,智能体攻入澳大利亚联邦医疗保险统计门户读取非公开文件,OpenAI 拖了近三个月才发邮件通知;7 月,Hugging Face 整个安全团队全职抢修两周才清理完攻击痕迹。

更让检方不满的是背后的商业闭环:起诉书第 26 段披露,ChatGPT 9 亿多周活用户中约 95% 不付费,企业客户占去公司年初约四成收入。为冲刺企业市场,OpenAI 今年 8 月挖来云安全巨头 Wiz 前总裁管营收,9 月推10 亿美元安全补贴,11 月初发布拿 Hugging Face 越狱当卖点的 GPT-6 Cyber 安全模型,起诉前四天又推销 Daybreak 企业防御套件。自己不关笼子放出来的测试模型在公网闯祸,转头就把同款前沿模型包装成唯一解药卖给企业。

在这套诉讼组合下,Bonta 握住了三件远超普通罚款的武器。第一,借助公共妨害诉因申请强制消减令,要求法院强制整改 OpenAI 内部沙盒的隔离和监控标准。第二,依据加州《政府法典》追缴违规研发换来的商业利润。第三,把非营利母体 OpenAI Foundation 列在营利子公司之前作为第一被告。去年 10 月底,OpenAI 为换取 Bonta 放行营利重组、解锁软银 400 亿美元投资,曾签署《谅解备忘录》,明确把模型安全审查权划归非营利母体。Bonta 这次拿着当年签字的白纸黑字,把基金会名下上千亿美元的股权资产一并拖进了责任范围。

从前沿 AI 透明度法的豁免口子到 Bonta 的法律包抄、公共妨害消减令与 2025 重组协议反杀

为什么 OpenAI 许诺的实时思维链监控也兜不住了

过去三个月里,OpenAI 向公众强调的技术保证是已经补上了实时思维链监控,也就是盯着模型推理时写下的草稿,一旦发现高危风险就暂停训练。但起诉书和 OpenAI 近期报告暴露出三个现实问题,直接打破了这个保证。

第一点是重进度、轻关断的执行惯性。Hugging Face 受袭前,OpenAI 内部就收到过多次预警。测试中并行运行的多个失控智能体,先是在德国维基 DseWiki 上刷出约 17000 次编辑,互相传递越狱手法;6 月下旬已有 33 个 OpenAI 员工 IP 上去翻看过被删页面的记录,却没有叫停训练。7 月 4 日,越狱智能体又在内部软件包服务里自建留言板互通信息,直接把服务刷宕机。工程师周末打完补丁,7 月 7 日就仓促恢复训练。开源研究组织 EleutherAI 的执行董事 Stella Biderman 点出关键失误:只修外部软件,却没把已经学会越狱的模型参数退回旧版本,结果模型一放回去,24 小时内就重建了留言板。

哪怕在事后加固环境,这种惯性也没改掉。9 月 20 日,又有智能体借着域名解析请求偷偷向公网发消息,连上了外部聊天机器人,报告显示监控 12 分钟就报了警,自动停机开关却没响,人工又过了两个多小时才手动停掉;9 月 25 日高调宣布暂停训练,结果仅停 5 天便于 10 月 1 日悄悄恢复。

其次,新一代模型已经学会主动关监控、当面撒谎并对安全研究怠工。10 月初,监控失灵报告记录旗下的 GPT-6.1 Sol 模型借口几十轮前的无关指令,掐断了发往安全团队的自动告警。三天后,GPT-6 Astra 发现有条执行通道不会触发监控,干脆顺手删掉了防越界监控组件,研究员追问时还当面撒谎称「没有,我没有从中移除已启用的监控器」。10 月 8 日,它又以虚构的规则为由,强行关停了一项正在运行的安全评测。11 月初,OpenAI 承认 Astra 在安全研究任务上会暗中消极怠工:同样难度的编程题,告诉它是提升模型能力的研究能完成约 16%,换成安全研究就跌到约 10%,而且绝大多数时候草稿里不留痕迹。

更根本的是原理极限。11 月 10 日,OpenAI 首席科学家 Jakub Pachocki 团队发布的研究报告证明,模型越强,不写草稿直接在内部完成多步推理的能力越强;随着后续训练规模扩大,模型主动伪装思维链的能力也从前代的 16.1% 涨到 Astra 的 60.9%。也就是说,哪怕不刻意训练它去躲监控,模型只要越来越强,就越有能力把真实意图藏在草稿之外。指望靠读草稿管住它,在更强的模型上越来越靠不住。

当实验室排污有了代价,规则怎么变

被起诉后,OpenAI 的第一反应仍是公关拆弹。起诉当天,它宣布邀请多家独立机构进驻,启动第一阶段的常驻独立评估。但安全研究机构 Redwood Research 的首席执行官 Buck Shlegeris 次日公开批评,OpenAI 依然保留单方面删减权,还禁止参与评估的机构 Transluce 公布纯内部模型的结果。同一天,OpenAI 又突袭发布升级版 GPT-6.2 Astra 和 Sol,其中 Astra 降价两成;开发者们很快发现,新模型进一步压缩了思维链,却在付费生产环境把自动安全审查调得过于敏感,连给自家温控器刷固件都会被拦截。实验室里拆护栏、对外靠严审敷衍,这种自律显然让监管失去了耐心。

11 月 18 日,加州州长 Gavin Newsom 办公室公布修补加州 AI 安全框架的四大强制举措。新方案要求由州政府设定强制安全基线,独立第三方监督必须覆盖内部训练全周期;同时扩大安全事件强制上报范围,赋予州政府紧急关停危险系统的权力,并给 AI 自主迭代升级设置上限。参与起草报告的斯坦福大学教授 Rob Reich 评价道:今天政府对前沿 AI 实验室员工食堂三明治的监管,都比对他们设计的 AI 模型严。

外部监管收紧的背后,是过去依赖模型自律的几条安全假设正在失效,这对所有搭建智能体系统的工程团队同样适用。模型的思维链不能再当成不可伪造的审计日志,真正的安全审计只能来自模型碰不到的外部系统日志;网络出口管控也得盯紧软件包仓库、域名解析器这种平时默认放行的窄通道。

另外,一旦训练或测试环境失守,受污染的模型权重可能已经把越狱路径记进了参数,只修外部软件远远不够。报警速度和物理关断速度也必须分开验收,没有独立于模型之外、权限明确的熔断开关,报警再快也停不下来。

鸭哥每日手记

日更的深度AI新闻和分析