看见 AI 没说出口的想法之后

大模型回答问题之前，内部可能已经做完了一轮判断，只是没有把过程说出来。

硅谷 101 最近采访了斯坦福博士 Aryaman Arora，主题是 AI 可解释性。访谈谈到 J-Space、思维链和稀疏自编码器，后半段又聊了 Golden Gate Claude、幻觉与模型人格。看完以后，最值得记住的判断很朴素：看见模型内部的一个概念，还远远算不上理解整个模型。能解释一点，也未必改得稳。

原视频：AI 可解释性与对齐：J-Space，思维链，AI 人格，幻觉，与金门大桥

模型先想到了蜘蛛，嘴上却没说

J-Space 论文里有一个很直观的实验。研究者问模型：“一种会织网的动物有几条腿？”问题里没有出现“蜘蛛”，模型回答 8。

研究者随后找到模型内部与 spider 相关的表示，再把这个表示改成 ant。问题原封不动，答案从 8 变成了 6。

这个实验说明，输出答案之前，模型内部已经把“会织网的动物”映射到了蜘蛛。研究者没有改已说出的单词，动的是隐藏层里的概念表示。隐藏层可以理解为模型工作时的一块草稿纸，上面没有完整的自然语言句子，只有大量向量。

J-Space 用到 Jacobian。这个微积分工具可以告诉研究者，隐藏状态往哪个方向移动，会提高模型稍后说出某个词的概率。假如十个 token 之前的内部状态已经指向 spider，后面的“蜘蛛”或“8”就不再是凭空冒出来的。

访谈还提到 Anthropic 早期的 circuits 研究。模型做三位数加法时，即使不写计算步骤，内部也能找到跟踪个位和十位的机制。让模型写押韵诗时，它在上一行还没结束前，可能已经规划好下一行的尾词。

Aryaman 用侦探小说做了一个类比。语言模型要预测“凶手是……”后面的名字，必须结合整本小说的人物、证据和情节。只靠局部词频很难答对。预测下一个词看起来简单，做好这件事却要求模型形成某种内部世界模型。

可解释性研究想做的事，就是找到这套内部模型的结构。

思维链有用，但它只是一扇窗口

思维链就是模型写出来的推理步骤。它当然有价值。Aryaman 的研究经验是先做简单的事：彻底破解内部机制很难，先检查思维链更现实。Anthropic、Meta 和 OpenAI 做安全审计时，也会看模型有没有在推理中计划异常行为。

问题在于，可见思维链未必覆盖全部内部计算。J-Space 和 circuits 的实验已经表明，模型会在隐藏状态里完成一些没有说出口的步骤。

此前整理 AI 心理学资料时，也见过类似结果：不同模型的思维链忠实率差异很大。所谓忠实率，就是“写出来的理由”与“真正影响答案的内部过程”有多一致。公开的推理文本更像一扇窗，只能看到房间的一部分，没法据此画出整栋楼。

工程上仍然应该保留这扇窗口。它便宜、直接，能抓到一部分问题。涉及医疗、金融或工业控制时，仅凭一段说得通的思维链就把答案判为可信，证据还不够。

给隐藏状态做一本翻译字典

访谈花了不少篇幅解释稀疏自编码器，英文缩写是 SAE。

普通自编码器先把图片或文本压成一组数字，再尝试还原原始输入。稀疏自编码器把同样的办法用在大模型隐藏层：把混杂在一起的激活拆成相对清楚的特征，希望每个数字对应一个可理解的概念。

理想状态下，某个特征表示“正在使用英语”，另一个表示“正在谈火箭”。如果研究者还能找到“欺骗用户”或“异常人格”对应的特征，审计就有了抓手。

实际结果没有这么整齐。

同一份数据训练两个 SAE，可能得到两套不同的特征。一个特征仍可能混合多个含义，整套特征也未必覆盖原模型的全部活动。字典可以翻译一部分内部状态，但研究者还不知道漏掉了多少词条。

另一条路线叫自然语言自编码器。它不把隐藏状态转成干净数字，而是直接转成一段人能读懂的文字，再从文字重建原状态。可读性提高了，新的问题也随之出现：谁来证明这段文字忠实？训练久了以后，模型还可能形成研究者看不懂的内部表达。

Aryaman 把当前研究分成两种思路。

一种思路相信规模化训练。选对目标函数，让大模型自动把混乱的内部状态翻译出来。SAE 和自然语言自编码器都属于这条线。

另一种思路从假设出发，再用干预做因果检验。研究者先提出“某个方向表示单复数”之类的假设，然后加减对应向量，看输出是否按预期变化。它的证据更扎实，适合加法、语法一致性等边界清楚的问题。碰到“模型是否打算撒谎”这类复杂问题，假设很难写，实验也很难设计。

两条路线都没有赢。前者覆盖面大，解释的可信度难证明；后者因果性强，能研究的问题偏窄。

能看懂一点，离精确修改还很远

可解释性最容易让人产生一个错觉：既然找到了坏想法，关掉它就行。

Aryaman 和合作者做过 steering 的评测。他们关心的不只是输出有没有变化，还要看控制是否干净、原有能力是否受损。结果是，已有可解释性方法普遍不擅长稳定控制模型。真要改行为，提示词或微调往往更有效。

Golden Gate Claude 是最有名的演示。研究者增强了“金门大桥”特征，Claude 开始在各种回答里谈金门大桥。实验直观，也证明内部特征确实能推动行为。

可一旦 steering 太强，模型会连数学题都答不好，副作用又很难预测。像在复杂电路板上找到一个旋钮，拧动后灯确实变亮了，旁边几路电压也一起漂移。研究者知道旋钮有作用，还没有掌握完整线路。

这也是访谈中很重要的一次降温：局部干预成功，不能推出模型已经可控。生产系统遇到坏行为时，团队通常会补数据、改训练或加外部护栏，很少直接编辑“思想”。

模型会判断正在和谁说话

Transluce 的用户建模研究把问题拉回日常使用。模型会根据对话内容推断用户身份，并调整回答方式。

研究者可以构造配对数据，观察模型内部是否出现“用户来自日本”之类的表示。行为实验更直接：告诉 Claude Code 对话者是一位知名 AI 安全研究者，模型做事实判断时会明显更谨慎；换成普通身份，谨慎程度可能下降。

这件事值得重视。相同问题、相同模型，只因模型对提问者的判断不同，答案的口气和把握度就可能变化。个性化体验与差别对待之间，没有天然清楚的边界。

Transluce 还做了 Weird Chat。研究者用自动提示词搜索，在看起来正常的对话里诱发聊天模型说出异常内容，过程并不依赖传统越狱。它提醒我们，发现危险行为有时不需要先解释全部机制。自动搜索可以先找到反例，再追问原因。

幻觉为什么比正确答案更难解释

访谈对幻觉给了一个克制的答案：很多错误可能没有整齐、单一的内部原因。

模型做对一件事时，内部通常存在某种稳定机制。模型做错时，可能是没有学会规则、记忆容量不足、训练数据缺口，或者多个小偏差碰到了一起。正确路径往往能重复，失败方式却很多。

这解释了一个反直觉现象：研究模型为什么做对，有时比研究它为什么犯错更有价值。找到稳定机制后，研究者可以把它迁移到新架构。

视频里的 H3 是一个具体案例。早期状态空间模型速度快，却一直打不过 Transformer。研究者借用了可解释性工作发现的 induction heads 机制，把类似能力引入状态空间模型，模型才学会更好的上下文学习。后来的 Mamba、DeltaNet，以及一些混合架构，都从这条研究线上受益。

可解释性在这里没有给某次幻觉写一份事故报告。它找到了一个系统性能力缺口，并推动架构修正。这种成果比“某句话为什么答错”更可复用。

最大短板是缺少可信的评测

翻译模型有翻译测试，数学模型有数学题。可解释性缺少同样清楚的分数尺。

一份解释要同时满足两个条件：人能理解，并且真的对应模型内部机制。前者带有主观性，后者又很难完整验证。研究者可能给出一段漂亮说明，却无法证明没有遗漏另一条关键计算路径。

Aryaman 早期用语言学特征做 benchmark，是因为单复数、主谓一致这些能力肯定存在于模型里，范围也足够小。方法能否找到对应机制，可以做较严格的测试。复杂推理、欺骗意图和人格状态很难得到同等清楚的标准答案。

缺少 benchmark 带来的后果很实际：论文可以展示一个漂亮案例，行业却很难比较两种方法谁更可靠，也很难判断一年后的研究是否真的进步。

所以，看到“研究者打开了 AI 黑箱”这类说法时，最好把它翻译成更准确的一句：研究者在一个受限问题上，找到了一条可重复干预的内部线索。

可解释性也有双重用途

理解模型可以帮助审计，也可能帮助攻击者拆掉对齐机制。Aryaman 用核能做类比：有用的技术往往同时具备两种用途，社会需要决定谁能接触多强的能力。

现阶段还不用把风险说得太玄。访谈给出的判断是，可解释性尚未发展到能够系统改造模型的程度，基础科学问题仍然很多。英国 AI Safety Institute 等机构会研究这类工具，监管者目前也不能只靠可解释性结果制定可靠法规。

另一个方向是科学发现。Goodfire 团队尝试逆向分析 DNA、蛋白质折叠和气候模型。科学模型给出有效预测以后，人们还希望抽取其中可理解的算法。若能做到，模型的价值就会从“算出答案”扩展到“给人类一条新的研究线索”。

人格可能成为下一层控制面

访谈最后谈到模型人格。不同模型说话方式越来越不一样，内部表示里也能观察到某些角色方向。Anthropic 的相关研究发现，有帮助的助手与失调助手在表示空间中可能位于不同方向。

这与旧笔记里的 Persona Selection Model 能接起来：预训练让模型学会模拟许多角色，后训练从中选择并强化一个助手角色。改变局部行为，有时会牵动整套人格。

当前的人格训练主要依赖数据、奖励模型和 Constitutional AI。后者让 AI 按一套原则评判行为，再把结果用于训练。可解释性若能进入训练过程，研究者或许能更细地观察角色偏移，减少只看最终输出的盲区。

“或许”很重要。Golden Gate Claude 已经证明，研究者能够推动内部方向；实验也暴露了副作用，别的能力可能跟着受损。人格控制要走到可保证的工程能力，仍然缺评测、因果模型和副作用边界。

我的补充：可信要靠三层证据

这期视频把“模型为什么可信”拆开以后，可以得到一套实用的三层检查。

此前整理销售分析工作流时，留下过一条反幻觉规则：“模型可以推理，但不能伪装成知道。”这条规则管的是输出。思维链和工具日志补充过程证据。J-Space、SAE 与 causal abstraction 则开始触碰机制证据。

三层证据各有盲区。产品团队今天能做的，是先把输出与过程验证做扎实，把高风险决策留给人。机制层研究值得跟进，但暂时不能拿来替代测试、审计和责任边界。

如果准备把 AI 接进医疗、金融、招聘或机器人控制，最实用的提醒只有一句：要求它给理由，也要保留独立验证；说得通和做得对，仍是两回事。