麻省理工学院和哈佛大学的一个研究团队在医学杂志《柳叶刀数字健康》上发表文章,称AI程序可以从X射线和CT扫描结果中分辨患者的种族,准确率高达90%。
这并不是一个好消息,因为连科学家们都没弄清楚这些AI程序是如何做到分辨种族的。
“当我的研究生向我展示这篇论文中的某些结果时,我认为这一定出了差错。”负责分析对应主题的论文作者之一,麻省理工学院助理教授Marzyeh Ghassemi告诉媒体,“当他们告诉我的时候,我真的以为我的学生疯了。”
Marzyeh Ghassemi
这篇文章中提到,AI诊断系统似乎会根据种族对患者进行诊断和治疗,而非患者的个人身体状况。
这种做法将会损害患者的健康。
研究人员提到一个案例,AI程序在检查胸部X光片时,漏掉黑人和女性患者身体病变的几率更高。
而这项研究的目的,正是确认AI系统从医学影像中检测人类种族的程度,以及它们如何从中检测出种族信息。
为此,研究团队使用人类身体不同部位的医学图像对AI系统进行训练。被提供给AI系统的医学影像中,不包含头发质地、肤色以及BMI或骨密度等明显的种族标记。
通过测试,研究人员发现,AI系统对人类种族的识别准确率高达90%。不论是哪个身体部位的医学影像,AI系统都能从中识别出种族信息。
更令人惊讶的是,即便是严重缺失或损坏的医学影像,AI系统也能从中准确识别种族。
研究人员更关心的,并非是AI系统能够检测人类种族这件事情本身,而是AI系统的临床表现将因为这些种族偏见受到影响。而医生可能会忽略AI系统诊断结果中的误差。
文章的作者表示,“AI预测种族身份的能力本身并不重要,但是这种能力很可能存在于许多医学影像分析模型中,这将会使临床中已经存在的种族差异问题恶化。”
人类目前还无法确认AI系统从医学影像的哪些特征中检测出患者的种族,加之AI能够从身体任何部位的医学影像,以及严重损坏的医学影像中识别患者种族,这意味着使用医学成像技术创建一个没有种族偏见的AI系统将会非常困难。
Ghassemi告诉媒体,她猜测,也许是医学图像以某种未知方式记录了患者皮肤中黑色素的水平,从而被AI系统识别。
根据研究结果,也有可能是种族之间存在一些先天的差异。
罕布什尔学院生物人类学教授、《种族主义不是种族》的作者之一Alan Goodman告诉媒体,他不太认同这种说法。
Alan Goodman
在过往的研究中,科学家们很难在人类基因组中找到一致的种族差异,但往往能根据人类祖先的进化找到一致的遗传差异。因此,人与人之间的基因差异,更大概率是源于人类个体祖先进化的不同特征,而非种族。
Ghassemi表示,这一问题还需要进行更多的研究才能得出明确的结论。
“我们需要暂停AI系统的落地,”麻省理工学院的科学家、医生Leo Anthony Celi说,“在确认AI系统没有做出种族主义决定或性别歧视决定之前,我们不能急于将其带入医院和诊所。”雷峰网(公众号:雷峰网)
资料来源:https://www.boston.com/news/health/2022/05/18/scientists-create-ai-race-from-x-rays-dont-know-how-it-works-harvard-mit/