欢迎光临
我们一直在努力
您的位置:首页>资讯 >

新的培训技术将揭示机器学习系统决策的基础

近年来,人工智能研究中性能最佳的系统得到了神经网络的支持,神经网络在训练数据中寻找产生有用预测或分类的模式。例如,神经网络可以被训练以识别数字图像中的某些对象或推断文本的主题。

但神经网络是黑盒子。经过培训,网络可能非常擅长对数据进行分类,但即使是创建者也不知道为什么。利用视觉数据,有时可以自动化实验,以确定神经网络响应哪些视觉特征。但是文本处理系统往往更不透明。

在计算语言学协会关于自然语言处理经验方法的会议上,来自麻省理工学院计算机科学和人工智能实验室(CSAIL)的研究人员将提出一种培训神经网络的新方法,这样他们不仅可以提供预测和分类,还可以为他们提供理论依据。决定。

“在实际应用中,有时人们真的想知道模型为什么会做出预测,”麻省理工学院电子工程和计算机科学研究生,新论文的第一作者陶磊说。“医生不信任机器学习方法的一个主要原因是没有证据。”

“它不仅仅是医学领域,”电子工程和计算机科学的Delta Electronics教授和Lei的论文顾问Regina Barzilay补充道。“它在任何领域,其中做出错误预测的成本非常高。你需要证明你为什么这样做。“

“这项工作还有更广泛的方面,”麻省理工学院电气工程和计算机科学教授,该论文的第三位合着者Tommi Jaakkola说。“你可能不想只是验证模型是否以正确的方式进行预测; 你可能还想对它应该做出的预测类型产生一些影响。一个非专业人士如何与一个他们一无所知的算法训练的复杂模型进行交流?他们或许可以告诉您特定预测的基本原理。从这个意义上讲,它开辟了一种与模型沟通的不同方式。“

虚拟大脑

神经网络之所以被称为是因为它们模仿 - 大致 - 大脑的结构。它们由大量处理节点组成,这些处理节点与单个神经元一样,只能进行非常简单的计算,但在密集网络中相互连接。

在被称为“深度学习”的过程中,训练数据被馈送到网络的输入节点,该输入节点对其进行修改并将其馈送到其他节点,其他节点对其进行修改并将其馈送到其他节点,等等。然后,存储在网络输出节点中的值与网络尝试学习的分类类别相关联 - 例如图像中的对象或文章的主题。

在网络培训过程中,不断修改各个节点执行的操作,以在整个训练示例集中产生始终如一的良好结果。在整个过程结束时,编程网络的计算机科学家通常不知道节点的设置是什么。即使他们这样做,也很难将低级信息转换回系统决策过程的可理解描述。

在新论文中,Lei,Barzilay和Jaakkola特别针对文本数据训练的神经网络。为了能够解释神经网络的决策,CSAIL研究人员将网络划分为两个模块。第一个模块从训练数据中提取文本片段,并根据片段的长度和连贯性对片段进行评分:片段越短,从连续单词串中得到的片段越多,其分数越高。

然后将由第一模块选择的段传递给第二模块,第二模块执行预测或分类任务。模块一起训练,训练的目标是最大化提取的片段的分数和预测或分类的准确性。

研究人员测试其系统的数据集之一是来自用户评估不同啤酒的网站的一组评论。数据集包括评论的原始文本和相应的评级,使用五星系统,分别对三个属性:香气,味觉和外观。

使数据对自然语言处理研究人员具有吸引力的原因在于,它也被手工注释,以指示评论中哪些句子对应于哪些分数。例如,评论可能包含八个或九个句子,而注释者可能会突出显示那些啤酒的“棕褐色头部约半英寸厚”,“标志性吉尼斯气味”和“缺乏碳化”。每个句子与不同的属性评级相关联。

验证

因此,该数据集为CSAIL研究人员的系统提供了极好的测试。如果第一个模块已经提取了这三个短语,并且第二个模块已经将它们与正确的评级相关联,则系统已经识别出与人类注释器所做的判断相同的基础。

在实验中,该系统与人类注释的一致性分别为96%和95%,用于评价外观和香气,80%用于更模糊的口感概念。

在论文中,研究人员还报告在自由形式技术问题和答案的数据库中测试他们的系统,其任务是确定先前是否已回答给定问题。

在未发表的研究中,他们将其应用于数以千计的关于乳房活检的病理学报告,在那里它学会了提取解释病理学家诊断基础的文本。他们甚至用它来分析乳房X线照片,其中第一个模块提取图像的部分而不是文本的部分。

东北大学计算机与信息科学助理教授拜伦华莱士说:“现在有很多炒作 - 而且是正确的 - 围绕深度学习,特别是对自然语言处理的深度学习。” “但这些模型的一大缺点是它们通常是黑盒子。拥有一个模型,不仅可以做出非常准确的预测,还可以告诉你为什么做出这些预测是一个非常重要的目标。“

“正如它发生的那样,我们在同一个会议上发表了一篇与精神相似的论文,”华莱士补充道。“我当时并不知道里贾纳正在研究这个问题,而我实际上认为她更好。在我们的方法中,在培训过程中,当有人告诉我们,例如,电影评论是非常积极的,我们假设他们将标记一个给你理由的句子。通过这种方式,我们训练深度学习模型来提取这些理论基础。但他们并没有做出这样的假设,所以他们的模型在没有使用直接注释的情况下工作,这是一个非常好的属性。“

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。