“编码相同的偏见”：冠状病毒反应中的人工智能局限 地平线杂志

应对危机的方式在许多方面都由数据来调节-AI算法正在使用大量信息来更好地理解和解决Covid-19，包括跟踪病毒的传播和制定治疗性干预措施。

人工智能，就像它的人类制造者一样，也无法避免偏见。 该技术通常旨在消化大量数据并进行推论以支持决策，它反映了开发数据并将其用于产生结果的信息的人类的偏见。 例如，几年前，当亚马逊开发一种人工智能工具来通过向过去的员工学习以帮助对求职者进行排名时，该系统通过降低女性履历来模仿其制造商的性别偏见。

美国纽约大学的杰出研究科学家Meredith Whittaker指出：“在Covid-19之前，我们看到了AI的广泛使用，而在Covid-19期间，您正在看到某些类型工具的使用增加。 AI Now Institute的联合创始人，该研究所进行研究AI的社会意义的研究。

监视工具以监视在家工作的白领，以及声称检测学生是否在考试中作弊的教育工具越来越普遍。 但是惠特克（Whittaker）表示，这项技术中的大多数未经测试-有些已被证明存在缺陷。 她补充说，然而，这并没有阻止公司将其产品作为大流行所造成的附带损害的万灵药。

以美国为例，一种紧凑的医疗设​​备称为脉搏血氧仪，旨在测量血液中的氧气水平。除冠状病毒的使用方式外，还有一些冠状病毒患者被粘在其微小的屏幕上以决定何时去医院。医生协助医院内的临床决策。

但是，该设备的工作方式容易出现种族偏见，并且很可能已针对肤色浅的用户进行了校准。 早在2005年，一项研究就明确地表明，对于非白人，该设备“大多倾向于高估（氧气）饱和度数点”。

惠特克说，脉搏血氧仪的问题已经有几十年了，制造商还没有解决。 “但是，即使如此，这些工具仍在使用，它们正在生成数据，并且这些数据正在影响医疗保健中使用的诊断算法。 因此，即使在AI系统的构建水平上，您也会看到它们正在编码相同的偏见和相同的种族主义和歧视历史，而这些偏见和种族主义和歧视的历史却在Covid-19的背景下清楚地展现了出来。

证据

同时，随着大量证据表明有色人种更容易死于Covid-19感染，这种多样性并不一定反映在为开发药物和疫苗而进行的一系列临床试验中-这是一个令人困扰的模式，早在很久以前就出现了大流行。 关于性别多样性，最近的一项评论发现，在涉及Covid-19的927项试验中，有一半以上明确排除了怀孕，并且孕妇也被排除在疫苗试验之外。

欧盟AI高层专家组成员，致力于培育负责任AI的组织ALLAI的联合创始人Catelijne Muller指出，这些临床试验中的产品结果不一定代表人群。

她说：“然后，如果您使用这些结果为未来的预测提供AI算法，那么这些人在这些预测模型中也将处于劣势。”

在Covid-19中使用AI技术的麻烦与大流行之前困扰技术的偏见问题没有什么不同：如果您提供技术偏见的数据，它将喷出偏见的结果。 确实，现有的大型AI系统还反映出其构建环境以及构建它们的人员缺乏多样性。 这些几乎完全是少数几家技术公司和一流的大学实验室-根据AI Now Institute 2019年的报告，“西方的空间往往是白人，富裕，技术导向和男性化”。

惠特克说，但这项技术不仅仅是制造商的反映，人工智能也加剧了他们的偏见。

她说：“一个人可能有偏见，但他们没有将这些偏见扩大到成千上万的决定。” “而人工智能系统可以对人为偏差进行编码，然后以影响更大的方式分布这些偏差。”

她补充说，问题进一步复杂化，存在自动化偏差的问题。 “人们倾向于信任计算机做出的决定，而不是人们做出的相同决定。 因此，我们需要提防AI系统如何洗净这些偏见并使其显得严谨和科学，并可能导致人们不愿意质疑这些系统做出的决定。”

“我们需要提防AI系统如何洗净这些偏见并使其显得严谨和科学。”

-美国纽约大学的梅雷迪思·惠特克（Meredith Whittaker）

安全

专家说，尽管研究人员开始就诸如公平，可解释性和鲁棒性之类的有用步骤达成共识，但关于如何使AI技术负责和整体安全方面尚无明确共识。

根据穆勒的说法，第一步是问“零问题”：我的问题是什么，我该如何解决？ 我要用人工智能还是其他方法解决它？ 如果使用AI，此应用程序是否足够好？ 它是否损害基本权利？

“我们看到的是，许多人认为，有时候AI就像是魔杖……它将解决一切。 但是有时它不能解决任何问题，因为它不适合该问题。 有时它是如此具有侵略性，以至于它可以解决一个问题，但却会产生一个巨大的，不同的问题。”

Muller说，在Covid-19的背景下使用AI时，会发生数据喷发，但数据必须可靠且需要优化。

她说，“数据不能仅仅丢给另一种算法”，并解释说算法通过找到相关性而起作用。 他们不了解什么是病毒。

英国艾伦·图灵研究所（Alan Turing Institute）的AI计划主任Adrian Weller博士表示，人工智能的公平问题彰显了人类决策的偏见。 他说，假设不使用算法意味着一切都会好起来是错误的。

这些系统具有这种希望和兴奋，因为它们比人类更一致，更有效地运行，但是它们缺乏常识，推理和上下文的概念，而人类则更好。

问责制

让人们更多地参与决策过程是使AI应用程序承担责任的一种方法。 但是弄清楚那个人应该是至关重要的。

惠特克说：“仅仅在流程中放置一个人并不能保证一个好的决定。” 她说，存在一些问题，例如人类为谁工作以及他们在做什么工作下的激励机制。

“我认为我们需要真正缩小广义的“人类”范畴，并研究谁以及目的何在。”

ALLAI的Muller和同事在一份报告中分析了人类监督，可以通过多种方式纳入人的监督，以确保透明度和减少偏见，欧盟监管机构正在研究一项提案，以规范“高风险”人工智能应用，例如用于招聘，生物识别的应用或在健康部署中。

这些措施包括审核AI系统的每个决策周期，监视系统的运行，在任何特定情况下自行决定何时和如何使用系统的酌处权，以及超越系统决策的机会。

对于Whittaker而言，诸如欧盟监管机构愿意监管“高风险”应用程序或美国社区组织导致禁止面部识别技术之类的最新发展令人鼓舞。

“我认为我们需要更多相同的东西……以确保这些系统是可审核的，我们可以对其进行检查以确保它们受到民主控制，并且人们有权拒绝使用这些系统。”

梅雷迪思·惠特克Catelijne Muller将在小组讨论会上讨论如何解决人工智能中的性别和种族偏见欧洲研究与创新日会议 该活动将于9月22日至24日在线进行。