[中文正文内容]

Futuristic digital background with protective glowing yellow shield © iStock Futuristic digital background with protective glowing yellow shield © iStock

EPFL 的研究人员开发了一种突破性的新工具，以帮助构建更安全的 AI。

如今，几乎每个人都听说过 AI，全球数百万人已经在使用它或接触到它——从 ChatGPT 编写我们的电子邮件，到帮助进行医疗诊断。

从根本上说，AI 使用算法——一组数学上严谨的指令——告诉计算机如何执行各种高级功能或将事实转化为有用的信息。驱动当今日益强大的 AI 的大型语言模型 (LLM) 是一种特殊的算法，它从海量、主要集中的数据集中学习。

然而，集中这些庞大的数据集会产生关于安全性、隐私和数据所有权的问题——事实上，“数据是新的石油”这句话表明它已成为一种关键资源，推动着当今数字经济的创新和增长。

为了应对这些担忧，一种名为 federated learning 的方法正在彻底改变 AI。与在大型集中式数据集上训练 AI 模型相反，federated learning 允许这些模型在分散的设备（或服务器）网络上学习，从而将原始数据保留在其来源地。

不信任数据

Rachid Guerraoui 教授解释说：“今天，通过 federated learning 训练的 AI 从世界各地收集数据——互联网、其他大型数据库、医院、智能设备等等。这些系统非常有效，但与此同时，存在一个悖论。使其如此有效的原因也使其非常容易从‘坏’数据中学习。” Rachid Guerraoui 教授是 School of Computer and Communication Sciences 中 Distributed Computing Laboratory (DCL) 的负责人。

数据可能因多种原因而变坏。也许由于缺乏关注或人为错误，数据被错误地输入到数据库中；也许数据一开始就存在错误；也许传感器或其他仪器损坏或发生故障；可能恶意记录不正确或危险的数据等等。有时，数据是好的，但托管它的机器被黑客入侵或是伪造的。无论如何，如果这些数据用于训练 AI，就会降低系统的可信度和安全性。

Guerraoui 说：“所有这些都提出了一个关键问题，我们能否构建值得信赖的 AI 系统，而不信任任何单个数据源？” 在致力于解决这一挑战的 十年理论研究 之后，这位教授和他的团队表示答案是肯定的！他们最近的一本书 总结了他们的主要发现。

信任数据集

他们与 French National Institute for Research in Digital Science and Technology 合作，现在正在将他们的想法付诸实践。他们开发了 ByzFL，这是一个使用 Python 编程语言的库，旨在针对对抗性威胁（特别是坏数据）来基准测试和改进 federated learning 模型。

Guerraoui 问道：“我们相信大多数数据都是好的，但我们如何知道哪些数据集不可信呢？” “我们的 ByzFL 库 测试 系统是否能够抵御先验未知的攻击，然后使该系统更强大。更具体地说，我们为用户提供软件来模拟用于测试的坏数据，并包括安全过滤器以确保稳健性。坏数据通常以一种微妙的方式分布，因此不会立即显现出来。”

ByzFL 不会隔离和定位好数据和坏数据，而是使用稳健的聚合方案（例如，中位数）来忽略极端输入。例如，如果三个传感器记录的温度分别为 6、7 和 9 度，但另一个传感器记录的温度为 -20 度，这会毁掉整个计算。ByzFL 软件会排除极端值，从而限制坏数据的影响，同时聚合信息。

确保下一代 AI 正常工作

人工智能预计在不久的将来会触及我们生活的方方面面。Guerraoui 认为，如今，大多数公司都使用非常原始形式的 AI，例如流媒体平台推荐电影或 AI 助手帮助编写文本。如果有人不喜欢他们被推荐的电影，或者电子邮件不完美，那没什么大不了的。

展望未来，对于任何关键任务应用，例如诊断癌症、驾驶汽车或控制飞机，安全的 AI 至关重要。Guerraoui 说：“当我们真正将生成式 AI 放入医院、汽车或交通基础设施中时，我认为我们会看到由于坏数据导致的安全问题。” “目前最大的挑战是从我所说的动物马戏团走向现实世界，拥有一种我们可以信任的东西。对于关键应用，我们距离停止担心安全问题还很远。ByzFL 的目标是帮助弥合这一差距。”

瑞士的角色

这位教授担心，公众和政策制定者可能需要经历一些重大事故才能理解，迄今为止创建的 AI 不应用于医疗、交通或任何关键任务，并且开发新一代安全可靠的 AI 至关重要。

他总结说：“我认为瑞士可以在这里发挥作用，因为我们有严肃认真的传统。我们构建的东西可以正常工作，我们可以利用瑞士质量的保证来展示使用这种软件的认证系统，以表明 AI 确实是安全的，而无需信任任何单个组件。”

_ByzFL 由 John Stephen, Geovani Rizk , Marc Gonzalez Vidal , Rafael Pinot , Rachid Guerraoui _（均来自 EPFL）和 Francois Taiani （来自 INRIA）设计和开发。

Mehdi El Mhamdi、Julian Steiner、Peva Blanchard、Nirupam Gupta、Rafael Pinot、Youssef Allouah、Abdellah El Mrini、John Stephan、Sadegh Farhadkhani、Geovani Rizk、Arsany Guiguis、Georgios Damaskinos、Sebastien Rouault、Richeek Patra、Mahsa Taziki、Hoang Le Nguyen 和 Alexandre Maurer 都是学生和博士后，他们都与 Guerraoui 教授合作，致力于在没有可信数据的情况下实现可信的 AI 系统。

作者： Tanya Petersen 来源：EPFL

本内容根据 Creative Commons CC BY-SA 4.0 许可分发。您可以自由复制其中包含的文本、视频和图像，前提是您注明作者姓名，并且不对内容的后续使用施加任何限制。如果您想复制不包含 CC BY-SA 声明的插图，您必须获得作者的批准。

2025 年 4 月 10 日

标签

AIartificial intelligenceBookinnovationRachid GuerraouiResearch