欢迎光临
我们一直在努力
您的位置:首页>科技前沿 >

研究人员提出数据集来衡量几次学习成绩

大量的AI模型已经过量身定制,以解决少数镜头分类问题,这是指仅给出几个示例(人类自然具备的能力)学习新类别的分类器。对其进行改进可能会导致更有效的算法,能够在不需要大量标记数据集的情况下扩展其知识,但是迄今为止,缺少许多用于评估进度的过程和语料库。

这就是为什么Google AI,加州大学伯克利分校和多伦多大学的研究人员在预印本中提出了一个基准,该基准用于训练和评估大规模,多样且更“现实”的少量镜头分类模型。他们说,通过合并多个“分布”分布的数据集并引入现实的类不平衡,它对以前的方法进行了改进,他们说,这种不平衡允许从低射学习开始,在整个频谱上测试鲁棒性。

该研究成果于2019年5月发表,但最近被将于4月在埃塞俄比亚亚的斯亚贝巴举行的国际学习代表大会(ICLR)接受。

正如团队所解释的,与合成环境相反,现实生活中的学习体验是异类的,因为它们的学习班数和每堂课的实例不同。他们还只测量语料库内的概括,而在形成情节时忽略了类之间的关系,即,狗和椅子的粗粒度分类可能与狗品种的细粒度分类存在不同的困难。(“剧集”涵盖介于初始状态和最终状态之间的状态,例如下棋游戏。)

相比之下,研究人员的数据集-元数据集-利用来自10个不同语料库的数据,它们涵盖了自然和人为的各种视觉概念,并且在类定义的特异性上有所不同。保留两个以供评估,这意味着它们中没有两个班级参加训练集,而其余的则为每个训练,验证和测试班级贡献了一些班级。

元数据集分别采用一种算法来对情节进行采样,该算法旨在产生可变镜头(类精度)和方式(准确性)不均衡的情节。每个选定类别的指定数量的示例将随机选择,以填充支持集和查询集。

在实验中,该团队通过使用与用于Meta-Dataset评估情节的算法相同的算法采样的训练情节来训练元学习模型。他们说,根据元数据集进行测试,当提供多个数据源时,这些模型通常并没有得到改善,并且它们也无法从跨数据集的元学习中受益。此外,他们报告说,这些模型对测试情节中的数据量不可靠。相反,它们在频谱的不同部分都表现出色。

合著者写道:“我们认为,我们对元数据集上各种模型的探索为与跨异构数据元学习有关的未来工作揭示了有趣的方向,”他补充说,解决未发现的缺点构成了重要的研究目标。“尚不清楚创建训练情节,最合适的验证创建和最合适的初始化的最佳策略是什么。”

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。