想象一下,如果下次你申请贷款时,计算机算法决定你需要支付更高的利率,主要是基于你的种族、性别或邮政编码。

现在,想象一下,可以训练一个人工智能深度学习模型,通过诱导健忘症来分析底层数据:它忘记了某些数据,只关注其他数据。

如果你认为这听起来像计算机科学家的版本《无斑点心灵的永恒阳光》,那你就很有魅力了。 多亏了USC信息科学研究所(IS I)的AI研究人员,这种称为对抗性遗忘的概念现在是一种真正的机制。

论文的主要作者和博士Ayush Jaiswal指出,随着人工智能在我们的日常生活中越来越普遍,解决和消除人工智能中的偏见的重要性变得越来越重要。 D.候选人在USCViterbi工程学院。

他解释说:“人工智能,更具体地说,机器学习模型继承了他们所训练的数据中存在的偏见,甚至容易放大这些偏见。” 人工智能正被用来做出影响我们所有人的几个现实生活决策,例如确定信贷限额、批准贷款、评分工作申请等。 例如,如果对作出这些决定的模型进行盲目的历史数据训练,而不控制偏见,他们就会学会不公平地对待属于历史上处于不利地位的人口群体的个人,例如妇女和有色人种。

这项研究由ISI的研究小组组长Wael Abd Almageed和USCViterbi的Ming Xieh电气和计算机工程系的一名研究副教授、研究副教授GregVer Steeg以及计算机科学研究教授兼ISI执行主任Premkumar Natarajan(休假)领导。 在他们的指导下,贾斯瓦尔和合著者丹尼尔·莫耶博士。 D.,开发了对抗性遗忘方法,它教导深度学习模型忽略特定的、不必要的数据因素,使它们产生的结果是无偏见的和更准确的。

该研究论文题为“通过对抗性遗忘进行不变的表征”,于2020年2月10日在纽约市人工智能促进协会会议上提交。

神经网络

深度学习是人工智能的核心组成部分,可以教计算机如何找到相关性,并与数据进行预测,例如帮助识别人或对象。 模型从本质上寻找数据中不同特征与它应该预测的目标之间的关联。 如果一个模型的任务是从一个群体中找到一个特定的人,它会分析面部特征来区分每个人,然后识别目标人物。 很简单,对吧?

不幸的是,事情并不总是那么顺利,因为模型最终会学习一些看似违反直觉的东西。 它可以将你的身份与特定的背景或照明装置联系起来,如果灯光或背景被改变,就无法识别你;它可以将你的笔迹与某个词联系起来,如果同一个词是用别人的笔迹写的,就会感到困惑。 这些被恰当命名的干扰因素与你试图执行的任务无关,而将它们与预测目标进行错误的分配实际上会导致危险。

模型还可以学习与预测目标相关但不理想的数据中的偏差。 例如,在涉及历史收集的社会经济数据的模型所执行的任务中,例如确定信用分数、信用额度和贷款资格,该模型可以通过在偏差和预测目标之间建立联系来进行虚假预测和显示偏差。 它可以得出这样的结论:因为它是分析一个女人的数据,她必须有一个低信用分数;因为它是分析一个有色人种的数据,他们一定没有资格获得贷款。 关于银行因他们的算法有偏见的决定而受到攻击的故事,在他们对那些根据种族、性别和教育获得贷款的人收取多少费用的问题上,并不缺乏,即使他们的信用状况与社会特权阶层的人完全相同。

正如Jaiswal所解释的,对抗性遗忘机制“修复”了神经网络,它是学习从数据中预测目标的强大的深度学习模型。 你注册的新信用卡的信用额度? 一个神经网络可能分析了你的财务数据,得出了这个数字。

研究小组开发了对抗性遗忘机制,以便它可以首先训练神经网络来表示它正在分析的数据的所有潜在方面,然后忘记指定的偏差。 在信用卡限额的例子中,这意味着该机制可以教银行的算法预测限额,同时忘记或不改变与性别或种族有关的特定数据。 贾斯瓦尔说:“[这种机制]可以用来训练神经网络,使其不受训练数据集中已知偏差的影响。 “这反过来又会导致经过训练的模型在决策时不会有偏见。”

深度学习算法很擅长学习事物,但更难确保算法不学习某些东西。 开发算法是一个非常数据驱动的过程,数据往往包含偏差。

但我们就不能拿出所有关于种族、性别和教育的数据来消除偏见吗?

不完全是。 还有许多其他数据因素与这些敏感因素相关,这些因素对于算法分析是重要的。 正如IS AI研究人员所发现的,关键是在模型的训练过程中添加约束,迫使模型进行预测,同时对数据的特定因素保持不变-本质上,选择性遗忘..

战争生物

不变性指的是识别特定对象的能力,即使它的外观(即数据)以某种方式被改变,Jaiswal和他的同事开始思考如何将这一概念应用于改进算法。 他说:“我的合著者丹(Moyer)和我实际上是基于我们以前在不变表示学习领域的经验而提出这个想法的。 但充实这一概念并非易事。 他说:“最具挑战性的部分是与以前在这一领域的大量数据集上的工作进行严格的比较(这需要进行大量的实验)和[开发]遗忘过程的理论分析。”

对抗性遗忘机制也可以用来帮助提高各个领域的内容生成。 “公平机器学习的萌芽领域在于如何减少基于消费者数据的算法决策中的偏差,”Ver Steeg说。 “一个更具思辨性的领域是研究使用人工智能生成内容,包括尝试书籍、音乐、艺术、游戏,甚至食谱。 为了使内容生成成功,我们需要新的方法来控制和操纵神经网络表示,遗忘机制可能是实现这一目标的一种方法。

那么偏见是如何在模型中出现的呢?

大多数模型使用历史数据,不幸的是,这些数据在很大程度上可能偏向于传统上被边缘化的社区,如妇女、少数群体,甚至某些邮政编码。 收集数据是昂贵和繁琐的,所以科学家倾向于使用已经存在的数据,并在此基础上训练模型,这就是偏见如何进入图片。

好消息是,这些偏见正在得到承认,虽然问题远未得到解决,但在理解和解决这些问题方面正在取得进展。 贾斯瓦尔说:“在研究界,人们肯定越来越意识到数据集偏差,并设计和分析收集协议,以控制已知的偏差。 在过去的几年里,对机器学习中的偏见和公平的研究作为一个研究领域迅速发展。

领域专家在统计分析的基础上确定哪些因素应被视为无关或有偏见。 贾斯瓦尔说:“到目前为止,不变性主要被用来消除研究界内普遍认为不需要/不相关的因素。

然而,由于研究人员确定了什么是不相关的或有偏见的,这些确定可能会变成偏见本身。 这也是研究人员正在研究的一个因素。 “弄清楚忘记哪些因素是一个很容易导致意外后果的关键问题,”Ver Steeg说。 最近一篇关于公平学习的自然文章指出,如果我们希望正确地指定算法解决方案,我们就必须了解歧视背后的机制。

人类的信息处理是极其复杂的,对抗性遗忘机制帮助我们离发展人工智能更近了一步,它可以像我们一样思考。 正如维斯泰格所说,人类倾向于通过本能来分离关于周围世界的不同形式的信息-获取算法来做同样的事情是眼前的挑战。

“如果有人站在你的车前面,你就会砰地一声关上车门,他们衬衫上的标语甚至都不会进入你的脑海。” 但是,如果你在社会环境中遇到那个人,这些信息可能是相关的,并有助于你展开对话。 对于人工智能,不同类型的信息都被捣碎在一起。 如果我们可以教神经网络分离对不同任务有用的概念,我们希望它能使人工智能对世界有更多的人类理解。”

人类的信息处理是极其复杂的,对抗性遗忘机制帮助我们离发展人工智能更近了一步,它可以像我们一样思考。 正如VerSteeg所说,人类倾向于通过本能来分离关于周围世界的不同形式的信息-获取算法来做同样的事情是当前面临的挑战。

“如果有人站在你的车前面,你就会砰地一声关上车门,他们衬衫上的标语甚至都不会进入你的脑海。” 但是,如果你在社会环境中遇到那个人,这些信息可能是相关的,并有助于你展开对话。 对于人工智能,不同类型的信息都被捣碎在一起。 如果我们可以教神经网络分离对不同任务有用的概念,我们希望它能使人工智能对世界有更多的人类理解。”