“Vegetative electron microscopy” 这个术语为何频繁出现在科学论文中？

The term "vegetative electron microscopy" keeps showing up in scientific papers

Source | HN Comments

文章探讨了“vegetative electron microscopy”这一无意义术语在科学论文中频繁出现的原因。该术语源于早期扫描错误和翻译错误，随后被 AI 模型错误地学习并传播。文章指出，AI 训练数据中的错误难以纠正，且缺乏透明度。这引发了对 AI 时代知识可靠性的担忧，呼吁科技公司、研究人员和出版商共同努力，改进信息评估和同行评审流程，以应对 AI 带来的挑战。

Tech 2025年4月25日作者：Aaron J. Snoswell 等, The Conversation A Strange Phrase Keeps Turning Up in Scientific Papers, But Why? (Leiada Krözjhen/Unsplash)

今年早些时候，科学家们发现了一个奇怪的术语出现在已发表的论文中: "vegetative electron microscopy"。

这个术语听起来很专业，但实际上毫无意义，它已经变成了一种“数字化的化石”——一个在artificial intelligence (AI) 系统中被保存和加强的错误，几乎不可能从我们的知识库中删除。

就像被困在岩石中的生物化石一样，这些数字化的artifact可能会成为我们信息生态系统中的永久组成部分。

vegetative electron microscopy 的案例让我们看到了令人不安的一幕，即 AI 系统如何能够持续存在并将错误扩大到我们的集体知识中。

一个糟糕的扫描和一个翻译错误

vegetative electron microscopy 的出现似乎是由于一些不相关的错误发生的惊人巧合。

首先，20世纪50年代发表在 Bacteriological Reviews 杂志上的两篇论文被扫描和数字化。

然而，数字化过程错误地将文本一列中的 “vegetative” 与另一列中的 “electron” 结合在一起。结果，这个虚假的术语就产生了。

扫描论文的摘录显示了错误解析的列中断是如何导致“vegetative electron micro…”这个术语的引入。(Bacteriological Reviews)

几十年后，"vegetative electron microscopy" 出现在一些伊朗科学论文中。在 2017年和 2019年，两篇论文在英文标题和摘要中使用了该术语。

这似乎是由于翻译错误造成的。在波斯语中，“vegetative” 和 “scanning” 这两个词仅相差一个点。

来自 Google Translate 的屏幕截图显示了波斯语中 "vegetative" 和 "scanning" 这两个术语的相似性。(Google Translate)

错误上升

结果呢？截至今天，根据 Google Scholar 的数据，"vegetative electron microscopy" 出现在 22 篇论文中。其中一篇论文成为了 Springer Nature 杂志有争议的撤稿对象，而 Elsevier 发布了另一篇论文的更正。

这个术语也出现在讨论后续诚信调查的新闻文章中。

vegetative electron microscopy 在 2020 年代开始更频繁地出现。为了找出原因，我们不得不深入研究现代 AI 模型，并对它们训练的大量数据层进行考古挖掘。

AI 污染的经验证据

现代 AI 聊天机器人（例如 ChatGPT）背后的大型语言模型，都是通过对大量文本进行“训练”来预测序列中下一个可能的单词。模型训练数据的确切内容通常是严守的秘密。

为了测试模型是否“知道” vegetative electron microscopy，我们输入了原始论文的片段，以找出模型是否会用无意义的术语或更合理的替代方案来完成它们。

结果令人惊讶。OpenAI 的 GPT-3 始终用 "vegetative electron microscopy" 完成短语。GPT-2 和 BERT 等早期模型则没有。这种模式帮助我们隔离了污染发生的时间和地点。

我们还发现，该错误持续存在于后来的模型中，包括 GPT-4o 和 Anthropic 的 Claude 3.5。这表明这个无意义的术语可能现在已经永久嵌入到 AI 知识库中。

命令行程序的屏幕截图，显示 GPT-3.5 (特别是模型 gpt-3.5-turbo-instruct) 正在生成术语 "vegetative electron microscopy"。提供的文本中最有可能的 17 个补全结果是 "vegetative electron microscopy"，并且这些建议的可能性是下一个最有可能的预测的 2.2 倍。(OpenAI)

通过比较我们对不同模型训练数据集的了解，我们确定 CommonCrawl 抓取的互联网页面数据集是 AI 模型首次学习该术语的最可能途径。

规模问题

发现这种错误并不容易。修复它们可能几乎不可能。

原因之一是规模。例如，CommonCrawl 数据集的大小为数百万 GB。对于大型科技公司以外的大多数研究人员来说，在这种规模下工作所需的计算资源是无法获得的。

另一个原因是商业 AI 模型缺乏透明度。OpenAI 和许多其他开发人员拒绝提供有关其模型训练数据的精确细节。逆向工程其中一些数据集的研究工作也受到版权删除的阻碍。

当发现错误时，没有简单的修复方法。简单的关键字过滤可以处理特定的术语，例如 vegetative electron microscopy。然而，它也会消除合法的引用（例如本文）。

从根本上说，这个案例提出了一个令人不安的问题。在 AI 系统中还存在多少其他无意义的术语，等待被发现？

对科学和出版的影响

随着 AI 辅助的研究和写作变得越来越普遍，这种“数字化的化石”也引发了有关知识完整性的重要问题。

当通知出版社关于包含 vegetative electron microscopy 的论文时，他们的反应并不一致。有些出版社撤回了受影响的论文，而另一些出版社则为它们辩护。值得注意的是，Elsevier 在最终发布更正之前试图证明该术语的有效性。

我们尚不清楚其他类似的怪癖是否困扰着大型语言模型，但可能性很高。无论如何，AI 系统的使用已经给同行评审过程带来了问题。

例如，观察员注意到出现了 “tortured phrases”，用于逃避自动化诚信软件，例如用 “counterfeit consciousness” 代替 “artificial intelligence”。此外，在其他被撤回的论文中也发现了“phrases”，例如 “I am an AI language model”。

一些自动筛选工具，例如 Problematic Paper Screener，现在将 vegetative electron microscopy 标记为可能的 AI 生成内容的警告信号。然而，这种方法只能解决已知的错误，而不能解决未发现的错误。

与数字化的化石共存

AI 的兴起为错误通过任何一个参与者都无法控制的过程永久嵌入到我们的知识系统创造了机会。这给科技公司、研究人员和出版商都带来了挑战。

科技公司必须更加透明地了解训练数据和方法。面对 AI 生成的令人信服的无意义信息，研究人员必须找到新的方法来评估信息。科学出版商必须改进其同行评审流程，以发现人类和 AI 生成的错误。

数字化的化石不仅揭示了监控海量数据集的技术挑战，而且揭示了在错误可以自我永久存在的系统中维护可靠知识的根本挑战。 The Conversation

Aaron J. Snoswell, AI 责任研究员，Queensland University of Technology; Kevin Witzenberger, GenAI Lab 研究员，Queensland University of Technology, 和 Rayane El Masri, GenAI Lab 博士生，Queensland University of Technology

本文由 The Conversation 在 Creative Commons 许可下重新发布。阅读原始文章.