麻省理工学院的研究人员发现，如果某种类型的机器学习模型使用不平衡的数据集进行训练，它学习到的偏差是不可能在事后修复的。他们开发了一种技术，可以将公平性直接引入模型，不管训练数据集有多不平衡，这可以提高模型在下游任务中的性能。鸣谢:图片来源:麻省理工学院Jose-Luis Olivares如果一个机器学习模型使用一个不平衡的数据集进行训练，例如一个数据集包含的浅色皮肤的图像远远多于深色皮肤的图像，那么当该模型部署到现实世界中时，它的预测将存在严重的风险。但这只是问题的一部分。麻省理工学院的研究人员发现，当对不平衡的d数据进行训练时，受图像识别任务欢迎的机器学习模型实际上编码了偏见。即使使用最先进的公平提升技术，甚至在用平衡数据集重新训练模型时，模型中的这种偏差也不可能在以后修复。
因此，研究人员想出了一种技术，将公平直接引入模型的内部表示本身。这使得模型能够产生公平的输出，即使它是在不公平的数据上训练的，这一点尤其重要，因为很少有机器学习的良好平衡的数据集。
他们开发的解决方案不仅可以让模型做出更平衡的预测，还可以提高它们在面部识别和动物物种分类等下游任务中的性能。
“在机器学习中，将模型中的偏差归咎于数据是很常见的。但是我们并不总是有平衡的数据。因此，我们需要想出实际解决不平衡数据问题的方法，”麻省理工学院计算机科学和人工智能实验室(CSAIL)健康ML小组的研究生、主要作者娜塔莉·杜勒鲁德说。
杜勒鲁德的合著者包括健康ML组的研究生Kimia Hamidieh卡斯滕·罗斯，前客座研究员，现为图宾根大学研究生；Nicolas Papernot，多伦多大学电子工程和计算机科学系的助理教授；资深作者Marzyeh Ghassemi是健康ML小组的助理教授和负责人。这项研究将在国际学习表征会议上发表。
定义公平
研究人员研究的机器学习技术被称为深度度量学习，这是一种广泛的表示学习形式。在深度度量学习中，神经网络通过映射靠近的相似照片和远离的不相似照片来学习对象之间的相似性。在训练过程中，这种神经网络将图像映射到“嵌入空间”中，其中照片之间的相似性度量对应于它们之间的距离。
例如，如果使用深度度量学习模型来对鸟类进行分类，它会将金翅雀的照片一起映射到嵌入空间的一部分，并将红雀的照片一起映射到嵌入空间的另一部分。一旦经过训练，该模型可以有效地测量它以前没有见过的新图像的相似性。它会学习将一种看不见的鸟类的图像聚集在一起，但在嵌入空间内远离红雀或金翅雀。
杜勒鲁德说，模型学习的相似性度量非常强大，这就是为什么深度度量学习如此经常被用于面部识别。但是她和她的同事想知道如何确定相似性度量是否有偏差。
“我们知道数据反映了社会过程中的偏差。这意味着我们必须将重点转移到设计更适合现实的方法上来，”Ghassemi说。
该图像显示了鸟类颜色的两种不同的游行嵌入。在左边，两个示例图像都映射到具有相同羽毛的鸟群。在类别标签嵌入的右侧，由于去相关性，图像与具有相同羽毛的其他鸟类的空间区域分离，但仍然很好地聚类，这表明PARADE可以找到其他属性来区分这些物种聚类。致谢:麻省理工学院研究人员定义了相似性度量不公平的两种方式。以面部识别为例，如果与肤色较浅的人相比，肤色较深的人更有可能嵌入彼此更接近的图像，即使他们不是同一个人，那么该指标将是不公平的。第二，如果它学习的用于测量相似性的特征对于多数群体比对于少数群体更好，这将是不公平的。
研究人员对具有不公平相似性度量的模型进行了大量实验，无法克服模型在其嵌入空间中学习到的偏见。
“这非常可怕，因为公司发布这些嵌入模型，然后人们对它们进行微调以完成一些下游分类任务，这是一种非常常见的做法。但无论你在下游做什么，你都无法解决嵌入空间中引发的公平问题，”杜勒鲁德说。
她说，即使用户为下游任务在平衡的数据集上重新训练模型，这是解决公平性问题的最佳情况，仍然存在至少20%的性能差距。
解决这个问题的唯一方法是确保嵌入空间从一开始就是公平的。
了解不同的指标
研究人员的解决方案称为部分属性去相关(PARADE)，涉及训练模型学习敏感属性(如肤色)的单独相似性度量，然后将肤色相似性度量与目标相似性度量去相关。如果模型正在学习不同人脸的相似性度量，它将学习使用除肤色之外的特征来映射靠近的相似人脸和远离的不同人脸。
以这种方式，可以从目标相似性度量中去相关任何数量的敏感属性。并且因为敏感属性的相似性度量是在单独的嵌入空间中学习的，所以它在训练之后被丢弃，因此只有目标相似性度量保留在模型中。
他们的方法适用于许多情况，因为用户可以控制相似性度量之间的去相关量。例如，如果该模型将从乳房x光图像中诊断乳腺癌，临床医生可能希望一些关于生物性别的信息保留在最终的嵌入空间中，因为女性比男性更有可能患乳腺癌，Dullerud解释道。
他们在面部识别和鸟类分类这两项任务上测试了他们的方法，发现无论是在嵌入空间还是在下游任务中，无论他们使用的是什么数据集，该方法都减少了由偏差引起的性能差距。
接下来，Dullerud有兴趣研究如何迫使深度度量学习模型首先学习好的功能。
“你如何恰当地审核公平性？这是一个悬而未决的问题。你怎么知道一个模型会是公平的，或者它只在某些情况下是公平的，这些情况是什么？这些是我真正感兴趣的问题，”她说。
来源：由phyica.com整理转载自PH，转载请保留出处和链接！
