您好,欢迎进入tyc1286太阳集团(中国)NO.1官网!

一站式服务商

提供留学、移民、海外置业、在职提升等一条龙服务

18548177000

热门关键词:  美国留学英国留学加拿大留学澳大利亚留学新西兰留学中国香港留学

某某品牌策划有限公司
邮箱:123454678@qq.com
手机:13899999999
电话:020-88888888
地址:安徽省合肥市高新区长江东路

新闻资讯
您的位置: 网站首页  > 新闻资讯

麻省理工学院研究:人工智能模型无法重现人类对违反规则的判断

发布时间:2023-05-11浏览次数:4251

研究人员报告说,使用通用数据收集技术训练的模型比人类更严厉地判断规则违规行为。

为了提高公平性或减少积压,机器学习模型有时被设计为模仿人类决策,例如决定社交媒体帖子是否违反有毒内容政策。


麻省理工学院和其他地方的研究人员发现,这些模型通常不会复制人类关于违反规则的决定。如果模型没有使用正确的数据进行训练,它们可能会做出不同的、通常比人类更严厉的判断。


在这种情况下,“正确”的数据是那些被人类标记的数据,他们被明确询问物品是否违反某个规则。训练涉及向机器学习模型展示数百万个这种“规范数据”的例子,以便它可以学习任务。


但是,用于训练机器学习模型的数据通常是描述性的,这意味着人类被要求识别事实特征,例如照片中油炸食品的存在。如果使用“描述性数据”来训练判断规则违规行为的模型,例如一顿饭是否违反了禁止油炸食品的学校政策,则模型往往会高估违规行为。


这种准确性的下降可能会对现实世界产生严重影响。例如,如果使用描述性模型来决定一个人是否有可能重新犯罪,研究人员的发现表明,它可能比人类做出更严格的判断,这可能导致更高的保释金额或更长的刑事刑期。


“我认为大多数人工智能/机器学习研究人员都认为人类对数据和标签的判断是有偏见的,但这一结果说明了更糟糕的情况。这些模型甚至没有复制已经有偏见的人类判断,因为它们正在训练的数据存在缺陷:如果人类知道图像和文本的特征将用于判断,他们会以不同的方式标记这些特征。这对人类过程中的机器学习系统产生了巨大的影响,“计算机科学和人工智能实验室(CSAIL)健康ML小组的助理教授兼负责人Marzyeh Ghassemi说。


Ghassemi是一篇详细介绍这些发现的新论文的作者,该论文今天发表在Science Advances上。与她一起发表论文的是主要作者Aparna Balagopalan,他是电气工程和计算机科学研究生;多伦多大学研究生大卫·马德拉斯;David H. Yang,前研究生,现在是ML Estimation的联合创始人;麻省理工学院助理教授迪伦·哈德菲尔德-梅内尔;以及Gillian K. Hadfield,Schwartz Reisman技术与社会主席,多伦多大学法学教授。


标签差异


这项研究源于一个不同的项目,该项目探索了机器学习模型如何证明其预测的合理性。当他们为这项研究收集数据时,研究人员注意到,如果要求人类提供有关相同数据的描述性或规范性标签,他们有时会给出不同的答案。


为了收集描述性标签,研究人员要求标签人员识别事实特征——这些文本是否包含淫秽语言?为了收集规范标签,研究人员给标签员一个规则,并询问数据是否违反了该规则——这个文本是否违反了平台的明确语言政策?


对这一发现感到惊讶的是,研究人员启动了一项用户研究以深入挖掘。他们收集了四个数据集来模仿不同的政策,例如可能违反公寓对攻击性品种的规定的狗图像数据集。然后,他们要求参与者小组提供描述性或规范性标签。


在每种情况下,描述性标签员被要求指出图像或文本中是否存在三个事实特征,例如狗是否看起来具有攻击性。然后,他们的回答被用来做出判断。(如果用户说照片包含攻击性狗,则违反了该政策。贴标员不知道宠物政策。另一方面,规范性标签者被赋予了禁止攻击性狗的政策,然后询问每个图像是否违反了该政策,以及为什么。


研究人员发现,人类更有可能在描述性环境中将物体标记为违规行为。他们使用标签的差异平均计算出的差异范围从用于判断着装要求违规行为的图像数据集上的8%到狗图像的20%不等。


“虽然我们没有明确测试为什么会发生这种情况,但一个假设是,人们如何看待违反规则的行为可能与他们如何看待描述性数据不同。一般来说,规范性决定更宽松,“巴拉戈帕兰说。


然而,数据通常使用描述性标签收集,以训练特定机器学习任务的模型。这些数据通常在以后被重新用于训练执行规范性判断的不同模型,例如违反规则。


训练烦恼


为了研究重新利用描述性数据的潜在影响,研究人员训练了两个模型来判断违反规则的情况,使用他们的四个数据设置之一。他们使用描述性数据训练一个模型,使用规范数据训练另一个模型,然后比较他们的表现。


他们发现,如果使用描述性数据来训练模型,它将低于训练使用规范数据执行相同判断的模型。具体而言,描述性模型更有可能通过错误地预测规则冲突来错误分类输入。在对人类标记人员不同意的对象进行分类时,描述性模型的准确性甚至更低。


“这表明数据确实很重要。如果要训练模型以检测是否违反了规则,那么将训练上下文与部署上下文相匹配非常重要,“Balagopalan说。


用户可能很难确定数据的收集方式;Ghassemi说,这些信息可以隐藏在研究论文的附录中,也可以不由私人公司透露。


提高数据集透明度是缓解此问题的一种方式。如果研究人员知道数据是如何收集的,那么他们就知道应该如何使用这些数据。另一种可能的策略是在少量规范数据上微调描述性训练的模型。这个想法被称为迁移学习,是研究人员希望在未来的工作中探索的东西。


他们还希望与专家标签师(如医生或律师)进行类似的研究,看看它是否会导致相同的标签差异。


“解决这个问题的方法是透明地承认,如果我们想重现人类的判断,我们必须只使用在那种环境中收集的数据。否则,我们终将得到具有极其苛刻的审核的系统,比人类所做的要严厉得多。人类会看到细微差别或做出其他区分,而这些模型则没有,“Ghassemi说。


这项研究部分由Schwartz Reisman技术与社会研究所,微软研究院,矢量研究所和加拿大研究委员会连锁店资助。


蒙公网安备 15010302000536号