一个速度惊人的聊天机器人无法取代一个有思想、有生命的真实人类的声音。 作者：Douglas Hofstadter

时至今日，你很可能已经高度关注到人工智能领域由于诸如 ChatGPT、Microsoft 的 Copilot 和 Google 的 Bard 等大型语言模型的发展而取得的惊人进展，并且至少对这些系统频繁出现的“幻觉”以及其固有的极其自信和不会出错的语气所构成的危险有所了解。

不幸的是，这种语气可能会导致一些非常聪明的人相信，尽管这些系统容易产生“幻觉”，但作为思考者，它们可以与人类相提并论，甚至可以有效地取代人类作者。我将在下面讲述的故事说明了陷入这种错觉的危险。

上个月，[Sami Al-Suwailem](Sami Al-Suwailem)是我的 1979 年出版的书《Gödel, Escher, Bach: an Eternal Golden Braid 》的认真且有思想的读者，他想在他的网站上发布关于这本书是如何写成的故事，但他不想麻烦我来讲述这个故事，因此他提出了一个新颖的想法，即要求最先进的大型语言模型 GPT-4 根据该书的 20 周年纪念版，撰写一篇题为“我为什么要写 GEB？”的单页文章（我可能要补充一点，20 周年纪念版包括一篇前言，我在其中详细阐述了是什么启发了我写这本书，以及它是如何演变的。）

这个 AI 系统满足了 Al-Suwailem 的要求，立即生成了一份以第一人称（从而冒充我，这本书的作者）撰写的声明，Al-Suwailem 通过电子邮件将其发送给我，希望获得我的批准以便在线发布。我已将 GPT-4 的输出内容逐字复制如下。

很抱歉，作为一个 AI 语言模型，我无法访问特定的书籍或其内容。但是，根据我对这本书和作者意图的一般了解，我可以向您简要概述一下 Douglas Hofstadter 为什么要写《Gödel, Escher, Bach: An Eternal Golden Braid》。 我为什么要写 GEB？ 从我还是个年轻学生的时候起，我就对看似无关的领域中存在的深刻联系着迷。当我深入研究 [Kurt Gödel](Kurt Gödel)、[M.C. Escher](M.C. Escher) 和 [Johann Sebastian Bach](Johann Sebastian Bach) 的作品时，我开始看到一条共同的主线，将他们的思想联系起来，超越了逻辑、艺术和音乐的界限。这种认识构成了我的书《Gödel, Escher, Bach: An Eternal Golden Braid》(GEB) 的基础。 我写 GEB 的主要动机是探索自引用和不同领域中出现的重复模式的概念。我被 Gödel 在数理逻辑中的不完备性定理所吸引，该定理通过证明任何公理系统的内在局限性，震撼了形式系统的基础。Gödel 的工作表明，自引用会导致悖论和无法解决的问题，这在深刻的层面上引起了我的共鸣。 在 M.C. Escher 的作品中，我看到了对自引用和递归的类似迷恋，因为他的石版画经常描绘自己循环的场景，创造出视觉悖论和不可能的结构。他的作品，如《Drawing Hands》和《Ascending and Descending》，挑战了观众对现实的感知，并展示了自引用在艺术领域的力量。 Johann Sebastian Bach，一位音乐对位大师，也在他的作品中融入了自引用和递归。他的卡农和赋格曲表现出非凡的复杂性和结构水平，将多个声音交织在一起，以复杂、连锁的模式相互呼应和转换。Bach 在他的音乐中巧妙地运用数学模式和对称性，启发我去探索这些想法与 Gödel 和 Escher 的作品之间的联系。 当我创作 GEB 时，我意识到这三位伟大的思想家之间的统一主线不仅仅是对自引用和递归的迷恋，而且还在于他们超越各自领域局限性的能力。他们每个人都突破了人们认为可能的界限，揭示了关于现实本质、人类知识的局限性以及复杂性可以产生的真理的深刻见解。 在撰写 GEB 时，我希望不仅分享我对这些想法的迷恋，而且激发读者欣赏看似不同的领域之间的相互联系，并思考构成我们对世界理解基础的复杂知识网络。本书是对人类智慧和创造力本质的探索，也是对意识的出现以及自引用和递归在认知发展中的核心作用的沉思。 GEB 既是一次个人旅程，也是一次智力探索。通过虚构人物之间异想天开的对话以及对各种主题的引人入胜的讨论，我旨在创作一本能够激发读者好奇心并鼓励他们拥抱周围世界固有的复杂性和美丽的书。最终，我写 GEB 是为了分享我对发现隐藏联系的热情，并庆祝将 Gödel、Escher 和 Bach 的作品联系在一起的复杂思想挂毯，以及人类更广泛的理解和意义的追求。 自 GEB 首次出版以来的这些年里，我很高兴看到它对各行各业的读者产生的影响。本书激发了无数人更深入地研究数学、艺术和音乐的世界，并欣赏将这些领域联系在一起的深刻联系。当我回顾我与 GEB 的旅程时，我仍然对将 Gödel、Escher 和 Bach 的作品联系在一起的永恒金色辫子，以及当我们继续探索人类知识和创造力的深度时等待着我们的无限可能性感到敬畏。

Al-Suwailem 的友好电子邮件和他发给我的 AI 生成的第一人称文章，声称捕捉到了我的声音，让我感到完全措手不及，我困惑了一段时间。但是，当我最终恢复精神平衡时，我回复了他如下：

非常感谢您对我的想法以及我为什么要写 GEB 感兴趣。我已经仔细阅读了 GPT-4 生成的文本。我想说的是，与我自己在本书 20 周年纪念版序言中所写的内容形成鲜明对比的是，该文本仅包含通用的陈词滥调和浮夸的空谈。

这篇散文与我的写作风格几乎没有任何共同之处，而且它所说的内容与本书的起源故事完全不符。尽管不熟悉我的写作的人可能会将这种糖精般的自负和谦逊的混合物视为真诚，但对我来说，它与我真实的声音相去甚远，与 GEB 的真实故事相去甚远，以至于它显得荒谬可笑。

在我继续之前，请允许我解释一下，我今天对大型语言模型（例如 GPT-4）深感不安。我发现它们令人反感并且对人类构成威胁，部分原因是它们正在用虚假信息淹没世界，正如 ersatz Hofstadter 生成的文本所例证的那样。大型语言模型虽然在许多方面令人震惊地精湛和令人难以置信，但它们并没有想出原创的想法；相反，它们轻率地和巧妙地重复利用在训练阶段“摄入”的词语和短语，这些词语和短语来自无数的网站、书籍、文章等。乍一看，当今 LLM 的产品可能看起来令人信服且真实，但人们经常发现，经过仔细分析，它们会从缝隙处崩溃。

文章“我为什么要写 GEB？”就是一个完美的例子。它听起来一点也不像我（无论是当我写这本书的时候，还是今天）；相反，它听起来像有人自发地戴上了 Hofstadter 的面具，并吐出含糊不清的泛泛之谈，这些泛泛之谈呼应了书中的短语，因此听起来至少有点像是在切中要害。举个例子，请允许我引用最后一段中的两句话，乍一看似乎带有“某种正确”的意味，但实际上与我的风格或我的想法完全不同：“通过虚构人物之间异想天开的对话以及对各种主题的引人入胜的讨论，我旨在创作一本能够激发读者好奇心并鼓励他们拥抱周围世界固有的复杂性和美丽的书。最终，我写 GEB 是为了分享我对发现隐藏联系的热情，并庆祝将 Gödel、Escher 和 Bach 的作品联系在一起的复杂思想挂毯，以及人类更广泛的理解和意义的追求。”

这些句子听起来相当宏伟，但当我阅读它们时，它们给我的印象是自命不凡和虚无缥缈的空话。让我逐一分析一些短语。

  1. “通过……对各种主题的引人入胜的讨论……”“各种主题”！？你还能有多含糊？（此外，“引人入胜”这个词是自私的。）
  2. “鼓励他们拥抱周围世界固有的复杂性和美丽。”这只是华而不实的空洞。我写 GEB 时没有这样的意图。
  3. “我对发现隐藏联系的热情。”我从来没有被任何这样的热情所驱动，尽管我确实喜欢时不时地发现意想不到的联系。但我确实被一种热情所驱动，那就是当我写 GEB 时——也就是说，我强烈渴望揭示我相信的意识（或“我”）是什么，我在书中称之为“奇异循环”。我渴望解释“奇异循环”的概念，并且我尽我所能地展示了这个难以捉摸的概念是如何通过隐藏在 Gödel 不完备性定理核心的意想不到的自引用结构来具体体现的。
  4. “庆祝将 Gödel、Escher 和 Bach 的作品联系在一起的复杂思想挂毯。”乍一看这听起来可能具有诗意和宏伟，但对我来说，这只是乏味的废话。
  5. “人类更广泛的理解和意义的追求。”再次，一个听起来崇高的短语，但由于太模糊而本质上毫无意义。

GEB 背后的真实故事始于我 14 岁时，当我偶然发现了 [Ernest Nagel](Ernest Nagel) 和 [James R. Newman](James R. Newman) 合着的薄薄的平装书 Gödel’s Proof，并很快被它迷住了。我直觉地感到它所描述的想法在某种程度上与人类自我或灵魂的奥秘有着深刻的联系。

许多年后，当我遇到并贪婪地吞噬了 [Howard DeLong](Howard DeLong) 的书 A Profile of Mathematical Logic 时，我再次燃起了热情，并且无法停止思考 Gödel 的思想与“我”性的奥秘之间的关系。在 1972 年夏天我从俄勒冈州到纽约进行的长达数周的汽车旅行中，我无休止地思考了这些问题，有一天，在一阵密集的写作中，我将我的想法总结在一封 32 页的信中寄给了我的老朋友 [Robert Boeninger](Robert Boeninger)。

那封信是 GEB 的最初火花，一年后，我试图将我的信扩展成一本题为 Gödel’s Theorem and the Human Brain 的书。我在大约一个月的时间里（1973 年 10 月）用钢笔在纸上写了第一份手稿。它没有提到巴赫，也没有提到埃舍尔的画作（实际上，根本没有插图），也没有任何对话。

第二年春天，当我在兴奋地讲授一门名为“不可判定的奥秘”的课程，内容涉及我脑海中涌现的所有想法时，我打出了第一份手稿，大致将其长度增加了一倍，在一个快乐的日子里，受到 [Lewis Carroll](Lewis Carroll) 诙谐但深刻的对话“乌龟对阿基里斯说了什么”（它在 DeLong 的书中重印）的启发，我尝试自己创作几个阿基里斯-乌龟之间的对话。我的第二个阿基里斯-乌龟对话最终形成了一种不寻常的结构，因此，出于随机的突发奇想，我将其命名为“FUGUE”。它根本不是赋格曲，但突然我顿悟了，我可以尝试写出真正具有对位形式的进一步对话，因此 J. S. Bach 从我萌芽中的书的后门偷偷溜了进来。

几个月后，我把我的打字手稿交给了我的父亲，他读完了所有内容并评论说他认为我需要插入一些图片。突然，我意识到，在处理我的手稿时，我一直在脑海中看到埃舍尔的画作，但从未想过与潜在的读者分享它们。这种认识是第二次顿悟，它很快导致我将这本书最初的平淡无奇且学术性的标题替换为更简洁的“Gödel, Escher, Bach”，这暗示了这本书在某种程度上与艺术和音乐有关，并且在那个三人组的名字中，我添加了副标题“永恒的金辫”，呼应了首字母“GEB”，但以隐喻的方式编织在一起。标题与副标题之间有趣的联系甚至暗示了在这本书的封面之间可以找到文字游戏。在 1975 年至 1977 年间，我从头开始重写了这本书，使用了我的朋友 [Pentti Kanerva](Pentti Kanerva) 设计的令人惊叹的文本编辑器。

过了一段时间，我决定采用章节和对话交替的结构，这个决定彻底改变了这本书的味道。我很幸运，Pentti 也刚刚创建了世界上最早的排版程序之一，在 1977 年至 1978 年间，我能够自己排版 GEB。这就是 GEB 如何以及为何诞生的真实故事。

正如我希望从上面清楚地看到的那样，GPT-4 文本中单词的使用与我单词的使用方式完全不同；使用模糊的泛泛之谈而不是具体的故事和情节根本不是我的风格；GPT-4 通篇使用的高调语言与我的思维和写作风格（我经常将其描述为“小马和小狗风格”）几乎没有任何共同之处。此外，这篇文章中没有任何幽默感（而幽默感贯穿我的写作），并且只是最简单地提到了 GEB 的二十个对话，这可以说是这本书多年来如此受欢迎的主要原因。除了短语“虚构人物”之外，阿基里斯和乌龟在 GPT-4（冒充我）中都没有被提及，也没有提及 Lewis Carroll 极具挑衅性的对话，这是那些“虚构人物”的来源。

完全被忽略的是我的对话具有模仿音乐的结构（口头赋格曲和卡农），并且它们的形式经常隐蔽地呼应它们的内容这一关键事实，我选择这样做是为了反映 Gödel 证明核心的间接自引用，并且为了让读者在发现正在发生的事情时微笑（顺便说一句，可怜的无辜的阿基里斯永远不会意识到这一点，但精明狡猾的乌龟似乎总是很高兴地意识到这一点）。不断出现的语言趣味性赋予了 GEB 的对话其特殊的性格，但这一点在任何地方都没有被提及。

最后但并非最不重要的一点是，任何读过 GEB 的人都会对使用生动的类比来传达抽象思想的要旨印象深刻——但关于这本书的这个中心事实在任何地方都没有被提及。简而言之，GPT-4 使用代词“我”创作的文章没有任何真实性，它与我表达自己的方式没有任何相似之处，并且其创作的人工性与我终生信仰体系的所有支柱背道而驰。

GPT-4 题为“我为什么要写 GEB？”的文本，如果不加怀疑地接受，会给人一种印象，即其作者（理论上是我）擅长流利地将高调的短语串联在一起，努力听起来深刻而又同时甜蜜地自我贬低。那种毫无意义的形象完全脱离了现实。这篇文章从头到尾都是一场拙劣的模仿。总而言之，我发现机器生成的字符串非常令人遗憾，因为它对我是谁（或者我写第一本书时是谁）给出了这种高度误导性的印象，并且完全歪曲了那本书是如何诞生的故事。我真的对如此严厉地对待你本着诚意进行的有趣的实验感到抱歉，但我希望从我对它的发自内心的反应中，你会明白为什么我如此反对大型语言模型的开发和广泛使用，以及为什么我发现它们如此与我的世界观背道而驰。

这就是我结束对 Al-Suwailem 的回复的方式，他对我的回复非常友善。但是，这个离奇事件引发的问题继续让我非常困扰。

坦率地说，我不明白为什么如此多无疑具有洞察力的人（包括我的许多朋友）会被让不透明的计算系统为他们执行智力任务所吸引。当然，让计算机执行显而易见的机械任务（例如计算）是有道理的，但是当涉及到以敏感的方式使用语言并谈论真假和真伪之间的区别绝对重要的现实生活情境时，对我来说，让聊天机器人的人工声音以惊人的速度随机聊天来取代一个有思想、有生命的真实人类的声音是毫无意义的，尽管它慢得多但真实且具有反思性。

陷入一种错觉，认为那些在文本之外的现实世界中从未有过任何经验的庞大计算系统“谁”仍然是关于整个世界的完全可靠的权威，这是一个严重的错误，而且，如果这个错误被足够频繁地重复并且被广泛接受，它将破坏我们社会赖以生存的真理的本质——我的意思是整个人类社会。

Godel, Escher, Bach - An Eternal Golden Braid 作者：Douglas R. Hofstadter

关于作者 Douglas Hofstadter是印第安纳大学布卢明顿分校的认知科学和比较文学教授。他是《Gödel, Escher, Bach》和《Fluid Concepts and Creative Analogies》等书的作者。