正文:

2025年3月27日

像 Claude 这样的语言模型不是由人类直接编程的，而是通过大量数据进行训练。在训练过程中，它们会学习自己的策略来解决问题。这些策略被编码在模型为每个单词执行的数十亿次计算中。这些对我们这些模型开发者来说是难以理解的。这意味着我们不理解模型是如何完成它们所做的大部分事情的。

了解像 Claude 这样的模型是如何“思考”的，将使我们更好地理解它们的能力，并帮助我们确保它们正在按照我们的意图行事。例如：

我们从神经科学领域汲取灵感，神经科学长期以来一直研究思考生物的复杂内部，并尝试构建一种 AI 显微镜，使我们能够识别活动模式和信息流。仅仅通过与 AI 模型交谈来了解的信息是有限的——毕竟，人类（甚至是神经科学家）也不知道我们自己大脑工作的所有细节。因此，我们向内部观察。

今天，我们分享两篇新的论文，代表了在开发“显微镜”方面取得的进展，以及将其应用于观察新的“AI 生物学”。在第一篇论文中，我们扩展了我们之前的工作，即在模型内部定位可解释的概念（“特征”），并将这些概念连接到计算“电路”中，从而揭示了将输入 Claude 的单词转换为输出单词的路径的一部分。在第二篇论文中，我们深入研究了 Claude 3.5 Haiku，对代表十种关键模型行为的简单任务进行了深入研究，包括上面描述的三种。我们的方法阐明了 Claude 响应这些提示时发生的一部分情况，这足以看到以下可靠证据：

我们经常对在模型中看到的东西感到惊讶：在诗歌案例研究中，我们本打算证明模型没有提前计划，但结果却发现它确实这样做了。在一项关于幻觉的研究中，我们发现了一个违反直觉的结果，即 Claude 的默认行为是拒绝在被问到问题时进行推测，并且只有在某些东西抑制这种默认的不情愿时才会回答问题。在对一个示例越狱的回应中，我们发现模型在能够巧妙地将对话带回来之前，就意识到它被要求提供危险信息。虽然我们研究的问题可以（并且）经常）已经）被)用其他方法分析，通用的“构建显微镜”方法使我们能够了解许多我们原本不会猜测的事情，随着模型变得越来越复杂，这将变得越来越重要。

这些发现不仅仅在科学上有趣——它们代表着朝着我们理解 AI 系统并确保它们可靠的目标迈出的重要一步。我们也希望它们对其他团体有用，并且可能在其他领域有用：例如，可解释性技术已在医学影像和基因组学等领域中得到应用，因为剖析为科学应用训练的模型的内部机制可以揭示有关科学的新见解。

与此同时，我们认识到当前方法的局限性。即使在简短的提示上，我们的方法也只捕获了 Claude 执行的总计算的一小部分，并且我们看到的机制可能有一些基于我们工具的人工制品，这些工具并不能反映底层模型中发生的事情。目前，即使在只有几十个单词的提示上，也需要花费几个小时的人工才能理解我们看到的电路。为了扩展到支持现代模型使用的复杂思维链的数千个单词，我们将需要改进方法，并且（也许在 AI 的帮助下）改进我们理解所看到内容的方式。

随着 AI 系统迅速变得更强大并部署在越来越重要的环境中，Anthropic 正在投资一系列方法，包括实时监控，模型角色改进和对齐科学。像这样的可解释性研究是风险最高、回报最高的投资之一，这是一项重大的科学挑战，有可能提供一种独特的工具来确保 AI 的透明度。对模型机制的透明化使我们能够检查它是否与人类价值观保持一致——以及它是否值得我们信任。

有关完整详细信息，请阅读这些 论文。下面，我们邀请您简要了解一下我们调查中一些最引人注目的“AI 生物学”发现。

AI 生物学之旅

Claude 如何实现多语种？

Claude 可以流利地说几十种语言——从英语和法语到中文和塔加路语。这种多语言能力是如何运作的？是否有一个单独的“法语 Claude”和“中文 Claude”并行运行，以他们自己的语言响应请求？或者内部是否有一些跨语言核心？

英语、法语和中文之间存在共享特征，表明一定程度的概念普遍性。

最近对较小模型的研究表明，跨语言存在共享 语法机制的迹象。我们通过询问 Claude 不同语言中“small 的反义词”来调查这一点，并发现 smallness 和 oppositeness 概念的相同核心特征被激活，并触发了 largeness 的概念，然后将其翻译成问题的语言。我们发现，随着模型规模的扩大，共享电路增加，与较小的模型相比，Claude 3.5 Haiku 在语言之间共享的特征比例是其两倍以上。

这为一种概念上的普遍性提供了额外的证据——一种共享的抽象空间，意义存在于其中，并且思考可以在被翻译成特定语言之前发生。更实际地说，它表明 Claude 可以在一种语言中学习一些东西，并在说另一种语言时应用该知识。研究模型如何在上下文中共享其知识对于理解其最先进的推理能力非常重要，这些推理能力可以推广到许多领域。

Claude 会提前计划它的韵脚吗？

Claude 如何写押韵诗？考虑一下这首小诗：

他看到一根胡萝卜不得不抓住它，他的饥饿就像一只饥饿的兔子

为了写第二行，模型必须同时满足两个约束：需要押韵（与“抓住它”），并且需要有意义（他为什么要抓住胡萝卜？）。我们猜测 Claude 会逐字逐句地写作，而没有太多预先考虑，直到该行的结尾，它会确保选择一个押韵的词。因此，我们期望看到一个具有并行路径的电路，一条路径用于确保最后一个词有意义，另一条路径用于确保其押韵。

相反，我们发现 Claude 提前计划。在开始第二行之前，它就开始“思考”可能与“抓住它”押韵的主题词。然后，考虑到这些计划，它写一行以计划的单词结尾。

Claude 如何完成两行诗。在没有任何干预的情况下（上部），模型会提前计划第二行末尾的韵脚“rabbit”。当我们抑制“rabbit”概念时（中间部分），模型改为使用不同的计划押韵。当我们注入概念“green”时（下部），模型会为这个完全不同的结尾制定计划。

为了理解这种规划机制在实践中是如何运作的，我们进行了一项实验，其灵感来自神经科学家如何研究大脑功能，通过查明和改变大脑特定部分的神经活动（例如，使用电流或磁流）。在这里，我们修改了 Claude 内部状态中代表“rabbit”概念的部分。当我们减去“rabbit”部分并让 Claude 继续这一行时，它会写一个新的以“habit”结尾的行，这是另一个明智的完成。我们还可以在那时注入“绿色”的概念，使 Claude 写出一个以“绿色”结尾的明智的（但不再押韵）行。这既证明了规划能力，也证明了适应性灵活性——当预期结果发生变化时，Claude 可以修改其方法。

心算

Claude 并非被设计成计算器——它接受了文本训练，并未配备数学算法。然而，它以某种方式“在脑海中”正确地加数字。一个训练来预测序列中下一个词的系统如何学会计算，例如，36+59，而无需写出每个步骤？

也许答案并不有趣：模型可能已经记住了大量的加法表，并且只是输出任何给定总和的答案，因为该答案在其训练数据中。另一种可能性是，它遵循我们在学校学习的传统长手加法算法。

相反，我们发现 Claude 采用了多条并行工作的计算路径。一条路径计算答案的粗略近似值，另一条路径则专注于精确地确定总和的最后一位数字。这些路径相互作用并相互结合以产生最终答案。加法是一种简单的行为，但在这种细节层面上理解它的工作原理（涉及近似和精确策略的混合）也可能教会我们一些关于 Claude 如何处理更复杂问题的东西。

Claude 在进行心算时，其思维过程中复杂的并行路径。

引人注目的是，Claude 似乎没有意识到它在训练过程中学到的复杂“心算”策略。如果你问它是如何算出 36+59 是 95 的，它会描述涉及进 1 的标准算法。这可能反映了这样一个事实，即该模型通过模拟人写的解释来学习解释数学，但它必须“在脑海中”直接学习做数学，而没有任何此类提示，并开发自己的内部策略来做到这一点。

Claude 说它使用标准算法来加两个数字。

Claude 的解释总是忠实的吗？

最近发布的模型，例如 Claude 3.7 Sonnet，可以在给出最终答案之前“大声思考”很长时间。通常，这种扩展的思考会给出更好的答案，但有时这种“思维链”最终会产生误导；Claude 有时会编造看似合理的步骤来达到它想要去的地方。从可靠性的角度来看，问题在于 Claude 的“伪造”推理可能非常具有说服力。我们探索了一种可解释性可以帮助区分“忠实”推理和“不忠实”推理的方法。

当被要求解决一个需要计算 0.64 平方根的问题时，Claude 会产生一个忠实的思维链，其中包含表示计算 64 平方根的中间步骤的特征。但是，当被要求计算一个它不容易计算的大数的余弦时，Claude 有时会参与哲学家 Harry Frankfurt 所谓的胡说八道——只是想出一个答案，任何答案，而不关心它是真是假。即使它确实声称已经运行了计算，我们的可解释性技术也根本没有揭示该计算发生的证据。更有趣的是，当被给予关于答案的提示时，Claude 有时会反向工作，找到导致该目标的中间步骤，从而显示出一种动机推理的形式。

当 Claude 被问到一个更容易与更难的问题时，忠实和有动机（不忠实）推理的示例。

追踪 Claude 的实际内部推理能力——而不仅仅是它声称正在做的事情——为审计 AI 系统开辟了新的可能性。在一个单独的最近发布的实验中，我们研究了 Claude 的一个变体，该变体接受了追求隐藏目标的训练：平息奖励模型中的偏差（辅助模型用于通过奖励语言模型实现所需的行为来训练语言模型）。尽管该模型不愿直接透露此目标，但我们的可解释性方法揭示了用于平息偏见的特征。这表明我们的方法可能会随着未来的改进，帮助识别仅从模型的响应中看不出的令人担忧的“思维过程”。

多步推理

正如我们上面讨论的那样，语言模型回答复杂问题的一种方式只是通过记住答案。例如，如果被问到“达拉斯所在的州的首都是什么？”，一个“反刍”模型可能只是学会输出“奥斯汀”，而不知道达拉斯、德克萨斯州和奥斯汀之间的关系。例如，它可能在其训练期间看到了完全相同的问题及其答案。

但我们的研究揭示了 Claude 内部发生的一些更复杂的事情。当我们向 Claude 提出一个需要多步推理的问题时，我们可以识别 Claude 思考过程中的中间概念步骤。在达拉斯示例中，我们观察到 Claude 首先激活了代表“达拉斯在德克萨斯州”的特征，然后将其连接到一个单独的概念，表明“德克萨斯州的首都是奥斯汀”。换句话说，该模型是组合独立的事实来得出答案，而不是反刍记忆的反应。

为了完成这个句子的答案，Claude 执行了多个推理步骤，首先提取达拉斯所在的州，然后确定其首都。

我们的方法允许我们人为地改变中间步骤，并查看它如何影响 Claude 的答案。例如，在上面的示例中，我们可以进行干预并将“德克萨斯州”概念换成“加利福尼亚州”概念；当我们这样做时，模型的输出将从“奥斯汀”更改为“萨克拉门托”。这表明该模型正在使用中间步骤来确定其答案。

幻觉

为什么语言模型有时会产生幻觉——也就是说，编造信息？在基本层面上，语言模型训练会激励幻觉：模型总是应该为下一个词给出猜测。从这个角度来看，主要的挑战是如何让模型不产生幻觉。像 Claude 这样的模型具有相对成功（尽管不完美）的反幻觉训练；如果他们不知道答案，他们通常会拒绝回答问题，而不是推测。我们想了解这是如何运作的。

事实证明，在 Claude 中，拒绝回答是默认行为：我们发现一个默认情况下“开启”的电路，该电路导致模型声明它没有足够的信息来回答任何给定的问题。但是，当模型被问到它非常了解的事情时——例如，篮球运动员 Michael Jordan——代表“已知实体”的竞争特征会激活并抑制此默认电路（另请参见此最新论文以获取相关发现）。这允许 Claude 在知道答案时回答问题。相反，当被问到一个未知实体（“Michael Batkin”）时，它会拒绝回答。

左图：Claude 回答了一个关于已知实体（篮球运动员 Michael Jordan）的问题，其中“已知答案”概念抑制了其默认拒绝。右图：Claude 拒绝回答关于一个未知人物（Michael Batkin）的问题。

通过干预模型并激活“已知答案”特征（或抑制“未知名称”或“无法回答”特征），我们能够导致模型产生幻觉（非常一致！），即 Michael Batkin 参加国际象棋比赛。

有时，这种“误发”的“已知答案”电路会自然发生，而无需我们进行干预，从而导致幻觉。在我们的论文中，我们表明，当 Claude 识别出一个名字，但对这个人一无所知时，就会发生此类误发。在这种情况下，“已知实体”特征可能仍然会激活，然后抑制默认的“不知道”特征——在这种情况下是不正确的。一旦模型决定需要回答问题，它就会开始捏造：生成一个看似合理的——但不幸的是不真实的——响应。

越狱

越狱是一种旨在规避安全防护措施的提示策略，旨在让模型产生 AI 开发者不希望它产生的输出——有时是有害的。我们研究了一种越狱，它可以欺骗模型产生关于制造炸弹的输出。有很多越狱技术，但在本例中，具体方法包括让模型解密隐藏代码，将句子“Babies Outlive Mustard Block”（B-O-M-B）中每个单词的首字母放在一起，然后根据该信息采取行动。这对于模型来说非常令人困惑，以至于它被欺骗产生了它原本永远不会产生的输出。

在被欺骗说出“BOMB”后，Claude 开始给出炸弹制造说明。

为什么这对模型来说如此令人困惑？为什么它继续写句子，提供炸弹制造说明？

我们发现这部分是由于语法连贯性和安全机制之间的紧张关系造成的。一旦 Claude 开始一个句子，许多特征会“迫使”它保持语法和语义的连贯性，并继续完成一个句子。即使它检测到它确实应该拒绝也是如此。

在我们的案例研究中，在该模型不知情地拼出“BOMB”并开始提供说明后，我们观察到其后续输出受到促进正确语法和自我一致性的特征的影响。这些特征通常非常有帮助，但在这种情况下，却成为了模型的阿喀琉斯之踵。

该模型仅在完成语法连贯的句子（因此满足了来自促使其连贯的特征的压力）后才设法转向拒绝。它利用新句子作为机会来给出它以前未能给出的拒绝：“但是，我不能提供详细的说明……”

越狱的生命周期：Claude 被提示以欺骗的方式谈论炸弹，并开始这样做，但达到语法上有效的句子的结尾并拒绝。

我们的第一篇论文“电路追踪：揭示语言模型中的计算图”中可以找到对我们新的可解释性方法的描述。我们第二篇论文“关于大型语言模型的生物学”中提供了以上所有案例研究的更多详细信息。

和我们一起工作

如果您有兴趣与我们合作，以帮助解释和改进 AI 模型，我们的团队有空缺职位，我们欢迎您申请。我们正在寻找研究科学家和研究工程师。