欢迎光临
我们一直在努力
您的位置:首页>VR >

微软为开发人员提供了一种基于AI的工具 可在其应用程序中内置阅读辅助功能

微软今天宣布推出Immersive Reader,这是一种Azure认知服务产品,它使开发人员可以将文本阅读和理解功能嵌入到应用程序中以使其更具包容性。沉浸式阅读器旨在帮助用户(包括患有阅读障碍,诵读困难和注意力缺陷多动障碍(ADHD)的用户)提高其在任何设备上的阅读技能。

根据2009年美国国家教育统计中心的调查,大约有3000万美国青少年和成年人面临阅读和写作方面的挑战。令人不安的是,识字率低与犯罪率上升,医疗保健系统存在问题以及金融文盲有关。尽管收入,教育和语言背景等因素在起作用,但上述三千万人中有35%患有学习,视力或听力障碍。

这种现实刺激了三年前微软的沉浸式阅读器的发布,该阅读器在2月到5月之间的使用量增加了560%。根据微软的说法,随着大流行,学校向远程学习过渡时,学校越来越多地使用该工具。

Hackathon的起源

沉浸式阅读器是Microsoft套件“学习工具”的一部分,旨在帮助改善阅读和写作,特别是针对残疾人士。截至2018年6月,超过1300万人使用40多种语言的应用程序和平台使用学习工具,而2017年6月为100,000。2020年6月,微软报告说,每月有超过2300万人使用沉浸式阅读器。

学习工具来自于Windows可访问性计划负责人Jeff Petty在2015年牵头的项目。Petty联系了Microsoft的Advanced Reading Technologies团队,并咨询了该部门的研究人员,以了解哪些功能可能最有助于苦苦挣扎的读者。

Azure AI公司副总裁埃里克·博伊德(Eric Boyd)告诉VentureBeat:“佩蒂研究如何围绕会议和包容性设计原则来吸收所有最好的科学和研究成果,以增强学生的所有能力。”“ [团队]认为这具有很大的价值,尤其是在教育领域。”

在Microsoft Education首席产品经理Mike Tholfsen的帮助下,Petty召集了十几个人,为Microsoft 2015年全公司hackathon开发了针对阅读障碍的工具包,其中包括来自Microsoft温哥华办事处的工程师,他们为OneNote中的阅读困难模式。该团队为OneNote创建了一个扩展程序,该扩展程序提供了文本格式化工具,使阅读,书写和记笔记变得更加容易,并推出了3,300多个其他项目来赢得黑客松。

当时,Tlffsen与美国各地的教师和学校负责人就名为OneNote课堂笔记本的相关产品进行了联系,该产品可让教师在个性化的工作区中进行协作。沉浸式阅读器的设计仅具有黑白背景,但是在老师告诉Tlffsen说,一些患有Irlen综合征的学生(一种会影响大脑处理视觉信息的能力的疾病)首选在特定背景下阅读具有特定颜色的背景后,设计团队才采用了这些颜色。

Immersive Reader于2016年1月首次亮相。不久,在负责监督教育产品的Microsoft公司副总裁Eran Megiddo的支持下,Tholfsen推动将功能合并到其他应用程序,平台和语言中。

阅读权限

沉浸式阅读器的核心是视听技术的应用,旨在帮助人们更有效地阅读。“朗读”功能大声朗读文本,并突出显示以提高解码,流畅度和听写能力。另一个功能是优化窄列视图中的字体间距,以增强视觉拥挤问题人群的阅读流畅度。(视觉拥挤是指当单词或字母聚在一起时无法区分它们。)

Boyd解释说:“沉浸式阅读器将Azure上的许多服务整合在一起。”“这是翻译和文本到语音转换之类的东西……我们真的想带来一些与我们尽可能多的开发人员联系在一起的东西。”

沉浸式阅读器还显示音节之间的中断,以增强单词识别和解码;通过识别动词,名词和形容词来支持写作指导和语法理解;并且可以与Microsoft Translate一起使用,以将文档和网站翻译成70多种语言。它的更新模块之一是字典,该字典显示单词的图片表示以增强理解力-启用后,选择单词会显示最能描述单词的图片。

微软表示,有证据显示“沉浸式阅读器”工具使广泛的阅读器受益,而不仅仅是学习障碍者。一项针对2017年RTI International华盛顿贝尔维尤(Bellevue)各个年级学生的研究发现,在使用沉浸式阅读器的人群中,阅读理解的全国标准评估提高了10个百分点。

在2017年,沉浸式阅读器加入了Outlook的Web,Word Online,OneNote Online和OneNote for Windows 10应用程序,具有扩展的语言(例如,用于盖尔语,毛利语和阿拉伯语)和区域支持。在2019年,与Microsoft Forms,Whiteboard和Team Assignments的beta集成实现了,随后是一项功能,该功能可以显示粗体,下划线,斜体和表情符号等格式。最近,“沉浸式阅读器”获得了英语,西班牙语,德语,中文和意大利语的自然语音神经语音转换成语音,并在iOS和Android的Office Lens中可用,与此同时在《我的世界:教育版》中也推出了该功能。在Minecraft中,沉浸式阅读器可以阅读和翻译文本,包括在菜单和字符对话框中找到的文本。

2020年5月标志着Immersive Reader向Microsoft Edge过渡,随后宣布Immersive Reader将作为Azure AI服务提供,以使合作伙伴在其产品中利用它。从诸如Code.org,Safari Montage,牛津大学出版社,Wakelet,Follet,Pear Deck和Firefly之类的合作伙伴开始,Microsoft已与学生和学校合作,测试并征求有关新扩展的Immersive Reader的反馈。

Immersive Reader的最新版本(版本1.1)支持对页面进行预翻译并自动朗读。它还增加了15种新的神经文本语音转换语音和新语言,包括Odia,库尔德北部和中部,普什图语和达里语。

微软表示,随着沉浸式图书馆于今年秋天晚些时候进入Outlook桌面,2020年第四季度Windows 10上的Mail App以及Outlook.com和移动设备上的Forms,它将在图片词典中推出10,000多个新图像。

扩大范围

到目前为止,Immersive Reader可以作为Azure API以及随附的软件开发工具包使用,以简化应用程序集成过程。(使用它需要一个免费的或付费的Azure帐户。)Boyd预计,随着大流行推动进一步的增长,该工具将进入其他第一方产品。

博伊德说:“我们将与该领域的研究人员紧密合作,并寻求客户和老师的反馈,尤其是与人们建立伙伴关系的地方。”“我们将征求对客户最有影响力的事情的意见,这是真正指导我们所有思考过程的事情。”

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。