欢迎光临
我们一直在努力
您的位置:首页>资讯 >

解释医疗人工智能说起来容易做起来难

随着人工智能在医学中的应用越来越多,许多政策制定者、患者和医生越来越担心黑盒算法的使用。简而言之,就是这样:我们不知道这些算法在做什么或它们是如何做的,而且由于我们无法理解它们,因此不能信任它们,也不应该依赖它们.

一个被称为可解释人工智能 (XAI) 的新研究领域旨在解决这些问题。正如我们在《科学》杂志上与我们的同事 I. Glenn Cohen 和 Theodoros Evgeniou 争论的那样,这种方法可能无济于事,在某些情况下可能会造成伤害。

人工智能 (AI) 系统,尤其是机器学习 (ML) 算法,在医疗保健领域越来越普遍。它们用于评估心血管图像、识别眼病和检测骨折等。许多这些系统,以及大多数被美国食品和药物管理局批准或批准使用的系统,都依赖于所谓的黑盒算法。虽然构成黑盒算法的概念有些不确定,但我们认为它是一种普通人难以理解甚至不可能理解的算法。

黑盒 AI 模型的示例可以是通常标记为“深度学习”的一类算法中的任何一种,例如具有多层、卷积、反向传播等的神经网络。

有两种关键方法可以了解人工智能系统的运作方式。第一个简单而直观:系统的制造者可以停止使用黑盒进行预测,而使用透明的系统——白盒模型——来代替。虽然白盒模型也是一个流动的概念,但示例包括简单的决策树或带有几个变量的普通回归,在这些模型中很容易判断变量如何组合形成系统的预测。例如,许多医生使用积分评分系统根据患者的血压、胆固醇水平、年龄和其他特征计算他们患心脏病或中风的风险。让我们将这些白盒系统称为可解释 AI (IAI)。

可解释的 AI 非常适合提高透明度并帮助人们了解模型的工作原理。它简单、直观且易于掌握。就这么简单的白盒可以代替复杂的黑盒而言,我们都赞成。但问题就在这里:对于许多医疗应用,开发人员需要使用更复杂的模型。

一个例子是依赖于图像识别的应用程序,其中预测变量的数量非常大,并且特征通常经过高度工程化。另一个例子是依赖于基因数据的应用程序。在这种情况下,开发人员通常不想用简单的决策树等来代替高级深度学习系统。因此,IAI 不是一个合适的替代方案,因为它可能无法达到更复杂的黑盒模型可以达到的必要精度水平。

为了安抚那些担心信任和透明度的人,坚持使用黑盒系统的开发人员转向了第二种选择,即 XAI。以下是它的工作原理:给定一个用于进行预测或诊断的黑盒模型,开发出第二种解释性算法来近似黑盒的输出。第二种算法(本身是一个白盒模型)是通过拟合黑盒的预测而不是原始数据来训练的。它通常用于为黑盒输出开发事后解释,而不是进行实际预测。

换句话说,该方法依赖于这种双重过程:一个用于预测的黑盒和一个用于事后解释的白盒。以中风风险为例,白盒解释算法可能会告诉患者,他们的中风高风险,正如黑盒模型预测的那样,与依赖于他们的年龄、血压、和吸烟行为。

但请注意,事后解释并不是生成黑盒预测的实际机制。事实上,很容易想象可以生成的许多其他解释也与黑盒预测一致。例如,患者的中风风险也可能与依赖于性别和糖尿病状况而不是血压和吸烟状况的决策树一致。类似的患者可能会得到非常不同的事后解释。由于这些类型的解释具有事后和善变的性质,我们称这种理解为 XAI 产生了替代理解。

当向用户提供这样的解释时,他们并没有更深入地了解黑匣子内部发生的事情;相反,他们留下的错误印象是他们更了解它。在这方面,这种类型的 XAI 是“傻瓜的黄金”。它提供的理解类似于被告知路灯在夜间亮起的原因可能是因为太阳落山,在观察到这两个事件同时发生多次之后。这种解释可能会导致进一步的认知风险,例如叙事谬误——相信一个完全错误的故事——或者可能导致过度自信,例如,如果提供的(错误的)解释强化了用户的先前信念。

因为这种形式的 XAI 是傻瓜的黄金,它不太可能提供经常被吹捧的好处。例如,由于它不会增加人们对黑盒系统的理解,因此不太可能增加对其的信任。同样,由于它不能让其他人打开黑匣子,所以可以这么说,它不太可能有助于使 AI/ML 系统更加负责。

要求医疗保健人工智能和机器学习的可解释性也可能会限制创新——将开发人员限制在可以充分解释的算法上会破坏准确性。

FDA 和其他监管机构不应关注可解释性,而应密切关注影响患者的 AI/ML 方面,例如安全性和有效性,并考虑将更多基于人工智能和机器学习的健康相关产品用于临床试验。人为因素在技术和监管机构的安全使用中发挥着重要作用,产品开发人员和研究人员在设计可信赖的 AI/ML 系统时需要仔细考虑这些因素。

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。