AI models miss disease in Black and female patients

专家称，对胸部 X 光的分析突显了监测人工智能工具偏差的需求

Doctor Pointing at Chest X Ray 一种常用于从胸部 X 光片中检测疾病的 AI 模型，在黑人女性中漏诊的情况比在其他人群中更常见。Mediaphotos/Getty Images

分享：

从旨在检测心电图中不规则心跳的程序，到追踪眼球运动以诊断儿童自闭症的软件，人工智能 (AI) 正在帮助医生微调他们为患者提供的护理。但是，尽管这项技术具有实现任务自动化的潜力，但越来越多的证据也表明，AI 容易产生偏差，从而使本已脆弱的患者处于不利地位。今天发表在 Science Advances 上的一项新研究，通过测试最常用于扫描胸部 X 光片的 AI 模型之一，以查找疾病，从而增加了这项工作，并发现该模型无法准确检测到边缘化群体中可能危及生命的疾病，包括妇女和黑人。

加州大学旧金山分校 (UC) 的计算生物学家 Kimberly Badal 说，这些结果“有趣且及时”，她没有参与这项新研究。“我们正处于历史上将大量 AI 模型部署到临床护理中的时刻，”她说，但“我们真的不知道”它们如何影响不同人群。

新研究中使用的模型名为 CheXzero，由斯坦福大学的一个团队于 2022 年开发，使用了近 40 万张来自波士顿患有肺水肿（肺部积液）等疾病的患者的胸部 X 光片的数据集。研究人员将 X 光图像输入到他们的模型中，没有附带任何放射科医生的报告，这些报告包含有关诊断的信息。然而，CheXzero 仅仅是和放射科医生一样擅长阅读与每张 X 光片相关的疾病。

订阅屡获殊荣的 SCIENCE ADVISER 新闻通讯

最新的新闻、评论和研究，每天免费发送到您的收件箱 注册

鉴于 AI 模型存在偏差的倾向，加州大学洛杉矶分校 (UC Los Angeles) 的计算机科学家 Yuzhe Yang 想要评估斯坦福团队的模型的此类偏差。他的团队从用于训练模型的同一数据集中选择了 666 张 X 光图像的子集：该数据集中唯一带有放射科医生诊断以及有关每位患者的年龄、性别和种族信息的图像。然后，该团队将这些图像输入到 CheXzero，并将结果与放射科医生的诊断进行比较。

与患者的医生相比，AI 模型更常未能检测到黑人患者或女性，以及 40 岁或以下患者的疾病。当研究人员同时观察种族和性别时，黑人女性排在最后，对于心肌扩大或心脏扩大等疾病，AI 未能检测到其中一半人的疾病。当该团队使用来自其他地区（包括西班牙和越南）的另外四个公共胸部 X 光数据集测试 CheXzero 时，这些差异仍然存在。

“我对这个发现一点也不感到惊讶，”Badal 说。其他研究已经表明了亚群体之间的偏差，她说，这项新研究证实了这一点。“人群及其生物学存在如此多的差异，以至于我很难相信有一天我们最终会拥有‘一个模型来统治它们’。”

广告

然后，Yang 和他的团队想梳理出偏差的可能根源。先前的研究表明，AI 模型可以被训练成从 X 光片中以高精度检测种族，即使临床专家不能，因此该团队着手测试 CheXzero 的能力通过仅使用 X 光图像来预测患者的性别、年龄和种族。他们发现 CheXzero 可以检测出这些特征，在很高比例的患者中 - 例如，在种族方面几乎达到 80%。相比之下，当华盛顿大学医学院的三名获得委员会认证的经验丰富的放射科医生尝试做同样的事情时，他们的最高成功率仅为 50% 左右。

“放射线摄影本身可能存在一些我们无法通过视觉识别的隐藏信号，”Yang 说。他认为该模型可能正在使用该信息作为诊断“捷径”，将诸如年龄之类的特征与某些疾病联系起来，而不是其他疾病，从而在此过程中产生偏差。

为了迫使 CheXzero 避免走捷径，从而试图减轻这种偏差，该团队重复了实验，但故意将患者的种族、性别或年龄与图像一起提供给模型。模型的“漏诊”率降低了一半——但仅适用于某些情况。

Yang 和他的团队不确定可能是什么原因导致了这种好坏参半的成功。该模型本身可能存在偏差：用于训练 CheXzero 的数据集包括更多的男性、更多 40 至 80 岁之间的人以及更多的白人患者，Yang 说这突显了需要更大、更多样化的数据集。

“明确的是，减轻这些偏差将非常困难，”Emory 大学介入放射科医生和信息学家 Judy Gichoya 说，她没有参与这项研究。相反，她提倡使用更小但更多样化的数据集来测试这些 AI 模型，以识别它们的缺陷并首先在小范围内纠正它们。即便如此，“人类必须参与其中，”她说。“AI 不能单独存在。”

doi: 10.1126/science.z6nublt

相关标签：

HealthTechnology

关于作者

Rodrigo Pérez Ortega

Rodrigo Pérez Ortega

Share on X

作者

Rodrigo Pérez Ortega 是一位科学记者，报道生命科学、医学、健康和学术界。 查看更多

更多新闻

a glasslike soil lump 2025年3月27日 这块熔化的土壤可能会将冶金的起源推迟数千年 作者：

Horses running towards the right of the frame through grass. 2025年3月27日 基因惊喜赋予马匹卓越的耐力 作者：

A large house engulfed in flames. 2025年3月27日 科学家争先恐后地追踪洛杉矶野火的长期健康影响 作者：

查看更多 对 Science 新闻部门有什么建议吗？连接

注册 ScienceAdviser

每天免费将最新的新闻、评论和研究发送到您的收件箱，获取 Science 屡获殊荣的新闻通讯。 订阅

广告

ScienceInsider

Michael Kratsios 2025年3月27日作者：

科技高管在两党支持下被确认为白宫科学办公室负责人 James H. Shannon Building (Building One), National Institutes of Health campus 2025年3月26日作者：

特朗普官员将审查 NIH 资助机会 Portrait of Susan Monarez 2025年3月26日作者：

特朗普新任命的 CDC 人选“有她的工作要做” Malnourished children are treated with clean water and peanut-based ready-to-use therapeutic food at a mobile feeding center run by Save the Children UK in the Bisle settlement in 2011 2025年3月26日作者：

随着美国和其他国家削减对外援助，儿童营养不良现象将急剧增加 查看更多

广告

Sifter

CRISPR-Cas9-ABE gene editing complex, molecular structure. 2025年3月11日作者：

基因编辑修复 DNA——并治疗无法治愈的肺部和肝脏疾病 supermassive black hole in a dwarf galaxy 2025年3月11日作者：

在银河系附近的矮星系中发现超大质量黑洞 aerial view of Western Australia shows deep red and orange deserts, bright white salt pans, deep brown mountains, and bright green pasturelands 2025年3月10日作者：

在澳大利亚发现地球上已知最古老的陨石撞击迹象 Image of the asteroid 2024 YR4 taken by ESO’s Very Large Telescope 2025年2月26日作者：

令人担忧的小行星撞击地球的几率已降至接近于零 查看更多

推荐关闭

mainimageAlt-White doctors might underestimate their black patients' pain 2016年4月5日作者：

白人医生可能低估了黑人患者的疼痛 mainimageAlt-woman and man looking into scientific instrument 2017年2月16日作者：

女性错失了早期署名机会 mainimageAlt-illustration of 4 woman climbing ladders at different heights 2018年7月16日作者：

对资助趋势的新分析为女性研究人员提供了令人鼓舞的消息——但有一些注意事项 协会事务 1984 年 4 月 黑人工程师 赞助 网络研讨会 技术 2025 年 3 月 26 日 使用固定细胞 Perturb-seq 的可扩展体内转录电路映射

广告