歧视与人工智能:确保数据公平

我们的 AI 博客迷你系列的第一篇中,我们提到了确保 AI 系统的机器学习 (ML) 算法不会受到有意或无意的歧视性结果或做法的影响的重要性。许多人认为,由于 AI 系统严重依赖客观数据,因此它们不会具有歧视性;然而,事实并非如此,AI 开发人员和数据控制者必须牢记算法可能存在的歧视。歧视可能源自多种因素,包括用于训练人工智能系统的数据、系统的使用方式以及系统的设计方式。毫无疑问,人工智能和机器学习有潜力改善人们的生活,但如果监管不力,它们也会对个人造成伤害。这些系统内的歧视可能导致个人被不公正地剥夺有意义的就业、获得贷款和住房的机会,以及执法部门加强监视。随着人工智能和机器学习的使用呈指数级增长并渗透到越来越多的行业和行业,人工智能数据控制者必须确保他们的系统不会对群体造成不公平的歧视,无论是有意还是无意。这一点更为重要,因为人工智能系统通常是“黑匣子”,不清楚系统如何或为何做出特定决定。由于这种不透明性,人们更难评估自己是否受到了歧视。

在此博客中,我们在数据保护和人工智能使用的背景下考虑了不歧视的权利。

 

算法如何区分?

正如我们在第一篇博文中提到的,人 whatsApp 号码数据 工智能系统造成的歧视既可能是有意的,也可能是无意的。故意歧视相当简单,是指故意将会产生歧视性结果的规则或条件写入算法中。例如,自动拒绝女性提交的贷款申请的规则。然而,在大多数歧视性人工智能系统的情况下,开发人员从未有这样的意图。相反,歧视是开发过程中无意的结果过程。这种情况可能以两种主要方式发生,都与用于训练人工智能系统的数据质量有关,而不是系统/算法本身:

  1. 训练数据不平衡
    如果一组训练数据中某个群体的代表性不足,则由于算法没有足够的数据来做出准确决策,因此可能会出现歧视。由于机器学习算法会生成一个最适合数据的统计模型,因此如果某个社会群体在训练数据中代表性过高,则该模型将更多地关注预测该群体结果的统计关系,而较少关注预测其他群体结果的其他统计模式。在我们上面的例子中,包含大量男性的训练数据会产生这种影响。
  2. 训练数据反映了过去的歧视
    如果训练数据反映了过去的歧视,算法就会被教导以同样的方式进行歧视。这在歧视一直是问题的领域尤其成问题,例如招聘或警务,因为很难找到一组完全无偏见的数据来训练算法。在上面的例子中,如果使用过时的数据集,而当时男性获得贷款的可能性远远高于女性,那么这种歧视就可能发生。

 

关于通过训练数据集

造成的歧视,最后需要注意的一点是,仅仅从模型中删除受保护的数据类别(例如种族、性别、性取向等)并不一定能消除歧 远程办公让小企业更具竞争力 视的机会。这是因为可以使用其他属性来重新推断这些信息,例如职业或家庭住址。

 

立法是怎么说的?

国际和国家立法都为个人提供免受歧视的保护。例如,《欧洲人权公约》(ECHR)、英国 2010 年平等法案和《国际人权法案》都是载有反歧视原则的法律原则。在英国,《2010 年平等法案》保障措施防止歧视,无论这种歧视是否由自动化手段造成。在数据保护方面,英国GDPR欧盟通用数据保护条例 (GDPR)(GDPR)在第一条中表明了其致力于保护数据主体的“基本权利和自由”。

GDPR 还包含管理某些类型的“自动决策”使用的具体规则,目的是减轻歧视的可能性。第 22 条禁止完全自动化的决策,如果这些决策具有法律或类似的重大影响;例如,完全自动化的电子招聘,没有人工审核。我们将在即将发布的博客文章中进一步讨论第 22 条,但现在足以说明,当涉及对雇主有重大影响的完全自动化决策时,组织必须提供某种形式的人工审核或干预资料主体。这将有助于对抗一些人工智能学习到的歧视,但并不能减轻可能存在的任何根深蒂固的人类偏见。

 

我们如何限制偏见和歧视?

打击人工智能系统中歧视的最佳方法之一是对其进行某种审计或评估。在我们的“ DPIA 和 AIA:人工智能数据控制者的最佳朋友”博客文章中,我们强 西班牙比特币数据库 调了影响评估如何帮助打击偏见,这一建议仍然有效。除了算法影响评估 (AIA) 和数据保护影响评估 (DPIA) 之外,偏见审计也是评估已在使用的人工智能系统的绝佳方法。他们不是检查算法本身,而是将输入系统的数据与另一端输出的数据进行比较。这些类型的审计有时被称为“黑盒测试”。有三种方法可以进行这些审计:

  1. 抓取审计——审计员编写程序,向系统的网站或 API 发出一系列请求,并观察结果
  2. 傀儡审计——创建虚假用户账户来观察系统的运行
  3. 众包/协作审计——其工作原理与傀儡审计相同,但会招募真人来创建账户,然后对其进行观察。《谁针对我》就是一个例子

 

尽管偏见审计传统上一直由独立机构用于监控人工智能的使用,但没有什么可以阻止部署和使用人工智能系统的组织自己进行偏见审计来测试自己的系统,或者更好的是,与第三方签订合同,为他们进行偏见审计。

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注