路演喊三天平替英伟达,PPT 小字却写着仅限预填充:看清 AI 自动写算子的真边界
今年 11 月 10 日,Anthropic 正式启动 IPO 路演,并在官网放出了一段公开路演视频。在这段视频中,联合创始人兼首席算力官 Tom Brown 提到,以往引入一款新芯片通常需要几十位工程师花好几个月,但这次他们使用内部模型 Mythos,基本没有人工干预,仅用 3 天就让 Claude 在 AMD 显卡上跑了起来,独立编写了将近 100% 的底层算子。
底层算子是在显卡硬件上直接运行的底层计算小程序,负责矩阵乘法等基础运算。这段视频传开后,社交媒体上出现了许多超过 50 万阅读的帖子,宣称英伟达的 CUDA 护城河已经消失。然而,翻看这段路演视频的完整字幕就会发现,其中从未提及英伟达和 CUDA。
如果暂停视频,看左下角的灰色小字,或者翻一下同一天交给美国证监会的法定招股书修正案,就会发现完全不同的剧本。在这份监管文件里,3 天和底层算子这两个词一次都没出现。但同一天公布的私募名单显示,英伟达和谷歌并列第一,分别出资 100 亿美元购买公司股票。为什么路演高调造势,法定文件只字不提,英伟达还砸钱认购?答案就在 PPT 左下角两行小字里。
路演 PPT 左下角那两行灰字,悄悄划掉了哪三件事
回到路演视频转写实录对应的画面里,左边那条橙色曲线标注着使用 Mythos 约 3 天到顶点,右边绿色曲线标注着传统方法需要 6 到 12 个月。但左下角的灰色小字加了三个限定:只针对单一模型,只在单台 AMD MI355X 多卡服务器上运行,并且只把提示词处理拉到可用性能水平。
其中最关键的限制是只实现了预填充阶段。正如我们之前讲大模型预填充与解码分离的文章所介绍的,大模型处理一次对话分为截然不同的两步。第一步叫预填充阶段,也就是 PPT 小字里的提示词处理,相当于模型一次性读题,把用户塞进来的整段文字拼成一个大矩阵一口气算完,主要吃单张显卡的计算力。第二步叫解码阶段,相当于模型一个字一个字往外写回答,每蹦出一个字都要把几百 GB 的模型参数和历史缓存从显存里重新搬运一遍,主要卡在显存带宽和跨卡通信上。
AI 为什么能 3 天写出预填充阶段的底层算子?因为单机预填充就是个封闭练习场,在一台机器上做读题计算,每个底层算子就几百行代码,输入输出规整。工程师把英伟达显卡算出来的结果当标准答案,让模型昼夜改代码跑测试,编译器几秒就能判分。这种目标明确、几秒自动反馈的封闭循环,正是编程智能体最擅长的舒适区。反观右边那条 6 到 12 个月的传统曲线,涵盖的是把预填充阶段、解码阶段和模型训练全套搬上生产线的完整工期。拿单机读题热身的 3 天,直接去比全栈投产的大半年,本身就是拿热身赛成绩去比全运会总工期。
走出单机预填充,多芯片上线真正要命的坑长什么样
既然预填充阶段的底层算子几天就能跑通,剩下那大半年,人类工程师到底在跟什么死磕?一旦从单机读题迈向跨几十张卡的解码阶段和大规模训练,难题就变了性质。大模型单张显卡装不下,必须拆成碎片放在几十张芯片上同时算。每生成一个新字,几十张芯片都要一边高速同步数据,一边在小数点后几位上对齐概率、挑出最高分的词。
Anthropic 在今年 9 月发布的近期三起线上故障复盘报告,展示了深水区的真实面貌。当时许多开发者抱怨 Claude 突然变笨甚至胡言乱语。团队追查数周发现,问题没有一个出在单机预填充阶段的底层算子上,全都出在多芯片解码阶段采样和底层编译器等环节。其中有两起故障直接发生在这套多芯片集群的 Google TPU 服务器上。
第一个故障来自 Google TPU 服务器的解码阶段。工程团队做了一项运行时优化,但模型在生成英文代码时,偶尔会给一些生僻字分配高概率。用户在用英文写代码,中间突然出现一个泰语问候语或者中文字符,花了整整 8 天才回滚修复。
第二个故障更隐蔽,潜伏了整整 8 个月。TPU 集群的解码阶段,几十张芯片各自用 16 位浮点数算词元概率后要汇总排序,但 TPU 底层编译器默认开启了超额精度优化,自动把一部分运算升成 32 位浮点数。不同芯片的小数点精度对不上,在汇总谁是第一名时产生分歧,直接把最该输出的词弄丢了。
工程师重写采样代码去修这个精度漏洞,结果又踩到了底层快速近似排序算法里的另一个编译器暗坑。这个暗坑在普通处理器上完全正常,在 TPU 上也只有撞上特定请求批次大小才会算错。只要一打开调试工具或改动计算步骤顺序,故障就会自动消失。团队最终只能放弃快速近似排序算法,退回精确排序。要把这类特定批次下才发作、打开调试器就消失的跨芯片暗坑一个个揪出来填平,靠单机跑几天代码生成无济于事。
招股书删掉三天宣传之后,真正替 AI 兜底的考场是谁造的
回到那份受证券法规严格约束的招股书修正案。Anthropic 删掉了短期移植宣传,在第 137 页和第 208 页写下了实情:团队能加快新芯片上线,靠的是耗时数年、投入巨资在多芯片家族上建立的扎实基础,核心是一套专有测试编排层。
专有测试编排层是一个能够模拟真实业务负载、在不同芯片家族之间进行自动化测试和性能比较的内部基础设施。Mythos 之所以能在短时间内写出实用的底层算子,是因为人类工程师花了数年时间构建了一套可以回放真实线上流量、自动对比精度、随时拦截异常的自动化测试考场。
举个例子,在路演的前一天,一个开源组织OpenRSI和开源多模态推理框架团队发布了关于SGLang-Omni自动调优的实测报告。报告里可以看到,智能体自己提出假设、改代码,在4到7个小时内找到了第一批加速方案,比如把空转等待的线程休眠一下就提升了32.5%的实时输出吞吐量。
但报告作者特别指出,评估器才是真正的产品。如果只让智能体追求速度,它会为了刷分悄悄降低回答质量。因此,任务定义、边算边播的系统架构设计、把智能体隔绝在外的防作弊验证程序全由人类工程师手写完成。即便智能体交卷时附带了实测数据,人类维护者审查并合入每个补丁,中位数花了 3.5 天,单个补丁最多来回修改了 23 次提交。所谓零人工写代码,其实是人类把精力从亲手写底层算子,转移到了建造专有测试编排层和事后把关上。
手握四倍算力倍增器,为什么还要签 9000 亿美元买卡合同
招股书显示,Anthropic 签下的长期算力采购承诺总额已接近 9000 亿美元。面对这笔巨额账单,路演视频用一道乘法来概括算力效率:总有效算力 = 物理芯片容量 × 算力倍增器。算力倍增器指通过改进算法或底层软件,让同样数量的物理芯片跑出数倍有效算力的技术手段。首席财务官也在视频里展示了成绩单:过去 6 个季度里,公司单位美元算力换回的营业收入翻了 4.3 倍。
然而细看招股书的季度明细表,会发现这个指标在今年二季度冲到 2.08 美元的高点后,到了三季度反而掉头向下。原因就写在招股书里:长期合同的芯片交付跟不上需求,公司在三季度不得不掏出 50 亿美元买高价现货算力。算力倍增器再精妙,也变不出显卡和电力,一旦芯片交付断档,照样得去现货市场高价补缺口。
更关键的是,Tom Brown 在路演中坦率地承认了这一点。公司拥有 4 倍的算力倍增器后,虽然能省下 75% 的算力成本训练出相同的模型,但前沿实验室的目标永远是投入全部物理算力,去训练过去想象不到的更大模型。软件效率越高,对买卡的需求反而越迫切。
那省不出买卡的钱,同时支持英伟达、AMD、谷歌和亚马逊这 4 家芯片、让 AI 能快速移植预填充阶段的底层算子有什么商业价值呢?答案藏在这家公司当天公布的合同变动里。Anthropic 在 8 月刚刚签下了算力供应商 Lambda 的 349 亿美元大单,但因为 Lambda 没能按时拿到机房租约,所以这份合同现在可以随时解约。在同一天,公司对微软英伟达集群的最低采购额也提高到了 472 亿美元。
看懂这笔账,整场路演的算力故事就顺理成章了。AI 自动写底层算子和多芯片策略,目标从来不是消灭英伟达,也不会缩减买卡规模。一旦某家算力商机房掉链子,或者某款芯片漫天要价,团队随时能把预填充阶段等大吞吐任务切到别家芯片上跑。在总额近 9000 亿美元的算力牌桌上,3 天跑通预填充阶段并非掀翻牌桌的锤子,而是让卖卡巨头都不敢轻易断供或坐地起价的换轨底牌。