欢迎光临
我们一直在努力
您的位置:首页>机器人项目 >

MIT CSAIL的AI更正了过时的Wikipedia文章

英文维基百科包含超过600万篇文章,所有其他语言的合并版本超过280亿个单词,超过309种语言的5200万篇文章。Wikipedia对于寻求知识的人来说是无与伦比的宝贵资源,但是它需要不断修剪的132,000名注册活跃月度编辑者。

为了寻找自主解决方案,麻省理工学院的研究人员开发了一种系统,该系统使用AI和机器学习来解决Wikipedia文章中的不一致之处。借助一系列算法,它可以识别错误并根据需要更新文章,使用来自网络的最新信息来生成经过修改的句子。

所讨论的算法是在包含句子对的数据集上进行训练的,其中一个句子是主张,另一个句子是相关的Wikipedia句子。每对都以以下三种方式之一进行标记:“同意”,表示句子包含匹配的事实信息;“不同意”,这意味着两者包含矛盾的信息;或“中性”,即两个标签均没有足够的信息。

系统将文章中过时的句子以及包含更新/冲突信息的“声明”句子作为输入。两种算法使繁重的工作变得困难重重,其中包括一个事实检查分类器,该分类器经过预训练,可以用“同意”,“不同意”或“中性”标记数据集中的每个句子对。定制的“中立屏蔽器”模块识别过时句子中的哪些词与权利要求相抵触,并删除最大化中立性所需的最小单词数,以便该对可以被标记为中立,然后在过时之后创建二进制“掩码”句子。

两个编码器/解码器框架会在掩蔽后生成最终的输出语句,以使该模型学习索赔和过时语句的压缩表示形式。然后,两个编码器/解码器协同工作,然后将不相似的单词滑入已删除单词留下的空缺位置,从而融合了权利要求中的不相似单词。

研究人员说,该系统还可以用于增强语料库,以在训练假新闻检测器时最大程度地减少偏见。一些检测器在句子对的数据集上进行训练,以通过将其与给定的证据进行匹配来学习验证要求。在这些对中,声明将使某些信息与来自维基百科的支持“证据”句子相匹配,或者将被修改为包括与证据句子相矛盾的信息。这些模型经过训练,可以通过反驳证据将主张标记为虚假,从而有助于识别虚假新闻。

在一个测试中,该团队使用了Wikipedia任务中的删除和融合技术来平衡数据集中的对并帮助减轻偏见。对于某些对,使用修改后的句子的虚假信息来重新生成支持句子的虚假证据。然后,某些关键短语同时存在于同意和不同意的句子中,这迫使模型分析更多功能。

研究人员报告说,他们的增强数据集使流行的假新闻检测器的错误率降低了13%。他们还说,在Wikipedia实验中,该系统在进行事实更新时更加准确,其输出与人类写作更加相似。

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。