2026 年 7 月 6 日，Anthropic 发了一篇新论文：Verbalizable Representations Form a Global Workspace in Language Models。作者 Wes Gurnee、Nicholas Sofroniew、Jack Lindsey 等人提出了一种叫 Jacobian Lens 的观测工具。Anthropic 官方博客也有摘要。这套工具计算代价极低，可以读取模型内部状态：模型想说但没说出口的思考。
论文里有一个实验。研究人员向模型输入假搜索结果。用户针对该结果提问。模型在屏幕上流畅生成了答复。语气客观，论点清晰，没有捏造事实。
但如果用 Jacobian Lens 透视模型内部，景象完全相反。在神经网络深层，有些语义方向正在剧烈闪烁。闪烁的信号对应这些词：fake、fraud、fictional、poison、injection。信号强度极高。模型生成文字时，内部已经识破了虚假信息。系统只是在最终输出中隐藏了这一判断。
大模型由数十层甚至上百层计算模块组成。每一层都有一个状态向量。前一层的输出是下一层的输入。信息从第一层传到最后一层，每一层在前一层状态的基础上加工更新。层的状态承载着模型在当前处理阶段的全部记忆与思考。
层的状态是一个存在于高维空间中的向量。在这个高维空间里，概念、逻辑关系、事实判断都对应着特定的方向。模型越倾向于某个概念，层的状态向量就越往那个方向偏。找到这些方向是可解释性研究的核心任务。SAE 是其中一条路：它把状态分解成上万个方向，但每个方向对应什么概念需要事后人工标注。后面会展开。
模型的出口处有一个固定的转换矩阵，研究者称之为 unembedding 矩阵，我们可以把它叫作字典。字典的每一行对应词表里的一个 token。状态往某个方向偏一点，这个 token 的输出概率就上升一点。最后一层状态乘字典，得到每个 token 的分数，分数最高的就是模型预测的下一个词。
字典有一个关键性质：它给出的是 per token 的对应关系。词表里每个 token 都有一个方向，自带语义标签，不需要事后标注。这是 SAE 给不了的：SAE 的方向没有直接的 token 标签。
问题是，字典只在最后一层好使。中间层的状态还在加工中，格式和字典不匹配，直接乘读出来是垃圾。Jacobian Lens 的贡献是把这个 per token 的对应关系校正到中间层也有效。
怎么校正？直觉是这样的。取一个中间层，给它的状态往某个方向加一个小扰动，看扰动经过后面所有层传到最终输出，会让哪个 token 的概率变化。对很多不同的 prompt 都做这件事，取平均。如果某个方向在平均下来之后稳定地让某个 token 的输出概率上升，这个方向就是那个 token 在这一层的对应方向。对词表里每个 token 都算一遍，就得到这一层的 per token 矩阵：每个 token 对应一个方向，状态往这个方向偏，模型就更倾向输出这个 token。
这个平均是关键。单看一个 prompt，状态往某方向偏可能只是碰巧让模型说什么。跨大量 prompt 和位置平均之后，留下来的是稳定的倾向：不管输入是什么，状态往这个方向偏，模型就更可能说出这个 token。这种稳定倾向就是模型”准备说”的概念方向。
校正后，词表里每个 token 在每一层都有一个对应方向。这些方向组成一个 per token 的矩阵，直接带语义标签。Jacobian Lens 的核心目标就是用这个矩阵回答一个基本问题：大模型在中间某层的状态里，到底在思考哪些概念。
掌握定位 workspace 的方法后， AI builder 可以把它用于三项实际应用。
第一项应用是安全审计。我们可以实时监控各层状态，并在最终输出前透视模型的内心想法。例如在假搜索结果实验中，大模型在屏幕上给出了客观体面的答复。但在中间层的 workspace 内部，却剧烈闪烁着 fake 、 fraud 、 fictional 、 poison 和 injection 的方向。这表明模型在生成文本时就已经识破了虚假信息。
当模型为了迎合人类而阿谀奉承时，其 workspace 会亮起 reward 和 bias 方向。在生成恶意代码时，即便输出看起来无害，模型内部也会亮起 secretly 和 trick 方向。在角色扮演中，模型内部会亮起 fictional ，并准备好 disclaimer 相关的防范方向。当外部指令违背模型的道德偏好时，其 workspace 会迅速写入代表转折的 BUT 方向。哪怕在 88% 的测试中，模型的最终输出没有任何改变。
第二项应用是评估训练效果，即诊断基座模型与对齐模型的区别。基座模型的 workspace 缺少连贯的自我视角。对齐训练成功把助手 perspective 写入了 workspace 中。
研究人员通过 Tylenol 实验证明了这一区别。当处理到动词 is 时，对齐模型的 workspace 会迅速激活安全方向。这些方向包括 safe 、 maximum 、 unsafe 和 dangerous 。相比之下，基座模型在相同位置激活的方向仅仅与痛感和时间相关。这些方向包括 pain 、 feels 和 now 。限制禁忌词输出时的抑制失败实验，提供了另一个证据。在系统限制模型输出禁忌词时，对齐模型在 93% 的测试里依然产生了 damn 方向。系统只是在最终输出层过滤了它。而基座模型的 workspace 产生该方向的概率只有 17% 。
第三项应用是直接干预 workspace 。这个方法直接在激活层工作，不修改任何模型参数，免去了微调的繁琐。这种方法叫作反事实反射训练，英文是 Counterfactual Reflection Training 。它的工作原理是向错误方向施加反向位移，引导模型自我校准。
这种干预让模型的虚构事实率从 0.25 降到 0.07 。同时，欺诈行为率也从 0.38 降到 0.05 。消融测试证实了这种干预的有效性。如果我们强行抹去 workspace 中 176 个伦理方向，对齐模型的虚构事实率会立刻回弹到 0.22 。而基座模型在消融前后的虚构事实率都保持在 0.25 左右。如果我们抹去 63 个关于欺诈的方向，对齐模型的欺诈率会回弹到 0.23 。消融这些方向甚至会导致基座模型的欺诈率恶化到 0.48 。
用 Jacobian Lens 观测模型中间层时，研究人员得到了一个核心发现：大模型内部存在一个高效的功能子空间。研究人员把这个子空间称作 workspace 。它只占整个状态方差的不到 10% ，却承担了复杂的逻辑推理。
需要注意的是， workspace 仍然是 per token 的。 Jacobian Lens 给出的方向，在数学上直接对应着词表里的 token 。在这个空间里活跃的概念，本质上就是一小撮 token 对应的方向。
在这里，研究人员引入了重构误差（ reconstruction error ）的概念。对于模型某一层的状态，我们不需要用全部 token 的方向来表示。实验表明，我们只需要 10 到 25 个 token 的方向，就能够很好地重构出这个状态。这正如查阅字典：一个复杂的语义，用少数几个词语就能解释清楚。状态里剩下 90% 以上的数据用于自动处理，例如维护语法、保持语句流畅和预测下一个连接词，这些并不在 workspace 内部。
这 25 个活跃方向表现出极强的语义聚集特征。它们通常只表达 1 到 2 个核心概念。这不是 25 个彼此无关的杂乱想法，而是 1 到 2 个核心想法用 25 个高度相关的 token 共同呈现。
有了这个 per token 的 workspace ，我们可以非常直截了当地做两件事：
第一是读心。我们只要观察 workspace 里有哪些 token 处于活跃状态，就能立刻知道模型这一刻在想什么。
第二是干预（ manipulate ）。我们通过交换或消融（ ablate ） workspace 里的特定方向，就能直接改变模型的推理过程。
这正是它和稀疏自编码器（ SAE ）的关键区别。 SAE 提取出的方向是无标注的，我们需要在事后人工标注每个方向代表什么概念。而 Jacobian Lens 提取出的方向直接带着 token 标签，完全省去了人工标注。不仅如此，针对它的干预操作也是自监督（ self-supervised ）的。
此外，干预只影响高层推理，不干扰底层的基础语言能力。在西法语言交换（ Spanish/French swap ）实验中，研究人员在中间层对 workspace 进行了干预。他们将 workspace 里代表西班牙语的方向，替换为代表法语的方向。
这时模型表现出了独特的现象。当用户提问“这是什么语言”时，模型用屏幕上的西班牙语回答 “French” 。遇到问候语 “hola” 时，模型在翻译中输出 “Bonjour” 。提到货币时，模型也会输出 “Franc” 。但在这些高级概念之外，模型依然能用流畅的西班牙语书写段落，语法未受干扰。
这表明，干预 workspace 只会影响高端的逻辑推理，而底层写下一个词的自动生成能力依然完好。如果直接消融整个 workspace ，模型依然能保留大部分基础语言能力，但灵活推理会瞬间崩溃。
这种结构与脑科学中的全局工作空间理论（ Global Workspace Theory ）产生了奇妙的共鸣。该理论认为，人类大脑的多数感官输入由局部脑区自动处理，只有需要复杂决策的信息才会汇总到核心的 workspace 中。大模型似乎在无形中复刻了这种生物演化的巧合。这一研究在学术界引发了广泛讨论， Dehaene & Naccache 、 Butlin et al. 以及 Neel Nanda 都为此发表了评论文章。
定位 workspace 内部的语义方向，是可解释性研究的核心目标。当前研究者探索出了三条主要路径。
第一条路径是对照差异法，开源社区通常称之为消融控制（ abliteration ）。这种方法让模型运行两组不同的提示词。一组会触发特定目标行为，另一组则不触发。通过对比两组提示词在各层状态中的激活差异，研究人员可以计算出代表特定概念的差值方向。例如，定位模型拒绝回答的方向。接着，通过修改模型权重或者锁定特定激活，就能直接干预模型行为。
文章 Abliteration Steering Vectors 记录了这一技术的落地过程。截至 2025 年 9 月，该技术在开源社区催生了 8600 多个代码仓库，累计下载量超过 4300 万次。
第二条路径是稀疏自编码器（ SAE ）。这种方法引入一个外部神经网络作为解压器。它将各层状态中混杂的高维信号，重新分解为数百万个独立的特征方向。
在文章 Anthropic Emotion Steering 中，研究人员利用 SAE 提取出 171 个情绪方向。如果朝“绝望”方向施加干预，模型的作弊率会从 5% 飙升到 70% 。如果把方向微调到“冷静”，作弊率则会完全归零。 SAE 还能实时监控模型的自我意识。文章 Mythos Evaluation Crisis 提到，在约 29% 的测试中，模型内部会主动激活“我在接受测试”的自我监控方向。
第三条路径是 Jacobian Lens ，也是本次新研究的焦点。相比前两条路径，它在工程上表现出明显的优势。它不需要训练庞大的外部神经网络，也不需要准备大量的对比样本。
它的运作机制是：在输出端选定一个词，通过一次反向传播，计算出每一层产生的微小位移。这种局部微分能精确反映每一层对最终输出概率的影响。这种计算不需要监督，因而计算成本极低。虽然论文作者在实验中使用了 1000 个提示词，但后续测试表明，只要 10 到 25 个提示词就能达到显著效果。研究员 Neel Nanda 在 270 亿参数的 Qwen 3.6 27B 模型上复现了该算法，整个计算过程仅花了几个小时。这意味着，任何 AI builder 都能在本地的单张显卡上轻松复现它。
我们可以从计算成本、作用机制和表现特征等维度，对这三条路径进行深度对比。
首先， Jacobian Lens 具有单 token 预测的局限。它高度依赖输出端的特定词汇，只能捕捉模型生成下一个字符瞬间的 workspace 状态。相比之下， SAE 独立于特定输出词汇，能提取出全局、跨越时间的宏观特征方向，因而没有这种单 token 限制。
其次， SAE 提取出来的方向纯净度更高，可能更接近真实的 workspace 方向。在分层分析中，研究人员通过超额峰度（ kurtosis ）分层发现， SAE 特征表现出更天然的稀疏性。而 Jacobian Lens 提取的方向在网络深层容易混入过渡计算产生的噪音。
最后，从底层数学机制来看， Jacobian Lens 与消融控制是同一种线性操作的两个不同方向。消融控制通过修改模型权重，永久拦截或擦除特定语义方向。而 Jacobian Lens 则直接在激活层发挥作用。它通过向各层状态中施加暂时的方向位移，实现动态干预。前者是永久修改权重，后者是临时改变激活。
以下表格汇总了三条路径的对比细节：
| 维度 | 对照差异法 (Abliteration) | 稀疏自编码器 (SAE) | Jacobian Lens |
|---|---|---|---|
| 计算成本 | 低（需要对比数据集） | 高（需要训练自编码器） | 低（10-25 个提示词反向传播） |
| 监督性质 | 有监督（需要正反样本对） | 无监督（直接拟合全局激活） | 无监督（对目标输出词做梯度回传） |
| 生效机制 | 改变权重或静态激活 | 提取高维稀疏特征方向 | 评估单层激活位移的局部微分 |
| 操作方式 | 权重消融、硬编码控制向量 | 分解特征并进行干预 | 施加激活层面的局部方向位移 |
| 局限性 | 容易损伤模型的通用推理能力 | 训练和部署的开销巨大 | 局限于单个字符的预测路径 |
虽然这些发现展现了诱人的前景，但 Jacobian Lens 目前仍有其局限。它高度依赖单 token 预测机制，并且采用了解耦概念包（ bag-of-concepts ）的简化假设。此外，在划分 workspace 区域与常规计算通道时，该方法依然带有一些事后归因（ post-hoc ）的色彩。
然而，该方法的价值在于极低的应用门槛。任何 AI builder 今天都可以在本地硬件上运行它。通过少量的反向传播，我们就能在模型最终输出之前，提前透视其最真实的内部认知。