打开人工智能的“黑匣子” 地平线杂志

2013年2月，埃里克·鲁米斯（Eric Loomis）在美国威斯康星州拉克罗斯（La Crosse）小镇上开车时，被警察拦下。 原来他所驾驶的汽车涉嫌枪击案，他被捕。 最终，法院判处他六年徒刑。

如果不是有一项技术可以帮助法官做出决定，这可能是一件很平常的案件。 他们使用了COMPAS，该算法可确定被告成为累犯的风险。 法院将一系列数据（例如被告的人口统计信息）输入系统，从而得出他们再次犯罪的可能性的分数。

然而，算法如何预测这一点仍然是不透明的。 换句话说，该系统是一个黑匣子-鲁米斯（Loomis）在2017年向美国最高法院提起诉讼。 他声称，COMPAS使用性别和种族数据做出决定，并将非裔美国人列为累犯风险较高的人群。 法院最终驳回了他的案件，声称即使没有算法，刑期也将相同。 但是，也有许多启示表明COMPAS无法准确预测累犯。

采用

尽管算法量刑系统已在美国使用，但在欧洲，它们的采用通常受到限制。 例如，在关键媒体报道之后，荷兰的AI量刑系统（根据对公司延迟付款的私人案件进行判决）在2018年被关闭。 然而，人工智能已经进入了欧洲的其他领域。 它正在推出，以帮助欧洲医生诊断Covid-19。 像英国的M：QUBE这样的新兴公司正在迅速崛起，该公司使用AI分析抵押贷款申请。

这些系统通过算法运行历史数据，然后得出预测或行动方案。 但是，我们常常不知道这样的系统如何得出结论。 它可能正常工作，或者内部可能存在技术错误。 它甚至可能重现某些形式的偏见，例如种族主义，而设计师甚至没有意识到这一点。

这就是为什么研究人员想要打开这个黑匣子，并使AI系统透明或“可解释”的原因，而这一运动现在正在兴起。 今年早些时候发布的欧盟人工智能白皮书要求可解释的AI，谷歌和IBM等主要公司都在为其研究提供资金，GDPR甚至包括对消费者具有可解释性的权利。

意大利比萨国家研究委员会信息科学与技术研究所高级研究员Fosca Giannotti说：“我们现在能够生产出非常有效的决策AI模型。” “但是对于最终用户而言，通常无法理解这些模型，这就是为什么可解释的AI变得如此流行的原因。”

诊断

Giannotti领导了一个名为XAI的可解释AI研究项目，该项目希望使AI系统揭示其内部逻辑。 该项目在自动决策支持系统上工作，例如可以帮助医生进行诊断的技术或可以向银行推荐是否向某人提供贷款的算法。 他们希望开发能够帮助AI解释的技术方法甚至新算法。

詹诺蒂说：“人类仍然在这些系统中做出最终决定。” “但是使用这些系统的每个人都应该对建议背后的逻辑有清楚的了解。 ‘

如今，医院和医生越来越多地尝试使用AI系统来支持他们的决定，但常常不知道如何做出决定。 AI在这种情况下会分析大量医学数据，并得出患者患某种疾病的可能性的百分比。

例如，可能会在大量的人类皮肤照片上训练一个系统，在某些情况下，这些照片代表皮肤癌的症状。 根据这些数据，它可以根据皮肤异常的新图片预测某人是否可能患有皮肤癌。 这些系统尚未普及，但是医院正在对其进行越来越多的测试，并将其集成到日常工作中。

这些系统通常使用称为深度学习的流行AI方法，该方法需要大量小的子决策。 这些被分组到一个网络中，网络的层级范围可以从几十层到数百层不等，这使得尤其难以了解为什么该系统建议某人患有皮肤癌，或者难以识别错误的推理。

吉安诺蒂说：“有时甚至设计网络的计算机科学家也无法真正理解逻辑。”

自然语言

对于西班牙圣地亚哥德孔波斯特拉大学计算机科学与人工智能教授SenénBarro来说，人工智能不仅应该能够证明其决策合理，而且可以使用人类语言来证明。

Barro教授说：“可解释的AI应该能够将结果自然地传达给人类，而且还能证明证明结果合理的推理过程。”

他是一个名为NL4XAI的项目的科学协调员，该项目通过探索不同的子领域（例如实现可解释性的特定技术）来培训研究人员如何使AI系统可解释。

他说，最终结果可能类似于聊天机器人。 他说，自然语言技术可以建立对话媒介，将这些互动解释传达给人类。

“可解释的人工智能应该能够将结果自然地传达给人类，同时也能够证明结果的合理性。”

西班牙圣地亚哥德孔波斯特拉大学SenénBarro教授

给出解释的另一种方法是为系统提供反事实。 Giannotti说：“这可能意味着该系统提供了一个示例，说明有人需要更改才能更改解决方案。” 在采用贷款判决算法的情况下，反事实可能会向拒绝贷款的人显示最接近的情况将被批准。 它可能会说某人的工资太低，但如果他们每年多赚1000欧元，他们就有资格。

白盒

Giannotti说，可解释性有两种主要方法。 一种是从黑盒算法开始，黑盒算法本身无法解释其结果，并找到方法来揭示其内在逻辑。 研究人员可以在该黑匣子系统上附加另一种算法-“解释器”，该算法询问一系列有关黑匣子的问题，并将结果与​​其提供的输入进行比较。 通过这个过程，解释器可以重构黑匣子系统的工作方式。

吉安诺蒂说：“但是另一种方法就是扔掉黑盒子，使用白盒子算法。” 这些是机器学习系统，可以通过设计来解释，但通常不如黑盒系统强大。

吉安诺蒂警告说：“我们还不能说哪种方法更好。” “选择取决于我们正在处理的数据。” 当分析大量数据时，例如充满高分辨率图像的数据库，通常需要黑盒系统，因为它们功能更强大。 但是对于较轻的任务，白盒算法可能会更好。

但是，找到实现可解释性的正确方法仍然是一个大问题。 研究人员需要找到技术措施，以查看解释是否确实很好地解释了黑匣子系统。 NL4XAI的Barro教授说：“最大的挑战是定义新的评估方案，以验证所产生解释的有效性和有效性。”

最重要的是，可解释性的确切定义尚不清楚，并且取决于应用它的情况。 与使用系统进行医学诊断的医生相比，编写算法的AI研究人员将需要不同的解释。

NL4XAI副协调员，圣地亚哥德孔波斯特拉大学（University of Santiago de Compostela）研究员JoseMaríaAlonso博士说：“（对系统输出的）人类评估本质上是主观的，因为它取决于与智能机器进行交互的人员的背景。” 。

然而，可解释的AI的动力正在逐步发展，这将改善人与机器之间的合作。 詹诺蒂说：“人类不会被人工智能所取代。” 他们将被计算机放大。 但是，解释是这种合作的重要前提。”

本文中的研究由欧盟资助。 如果您喜欢这篇文章，请考虑在社交媒体上分享。