欢迎光临
我们一直在努力
您的位置:首页>VR >

Facebook认真对待现实面孔跟踪的头像是VR未来的关键

数十人正在宾夕法尼亚州匹兹堡的Facebook Reality Lab工作,研究可以重新定义21世纪通信的超现实化身。

我通过电话与Yaser Sheikh谈话,Yaser Sheikh是卡内基梅隆大学副教授,自2015年起在该市为Facebook开展VR研究。谢赫在本周发布的技术博客文章中提供了背景 信息,详细介绍了该公司对超现实化身的研究。我通过电子邮件跟进Facebook,以便在通话结束后进行澄清。

“Facebook现实实验室匹兹堡可容纳近100人,”该电子邮件解释道。“为了适应团队的增长,FRL匹兹堡将在今年晚些时候搬进位于匹兹堡的一座更大的建筑。”

这表明对团队的未来进行了大量投资。该小组也不是Facebook唯一一个研究更逼真和个性化头像的人。为了清楚起见,Facebook表示这种技术距消费者耳机还要多“几年”。

Facebook称本周详细描述的头像系统是“Codec Avatars”。过去几年,在Facebook和Oculus开发者大会上已经讨论过这项工作。然而,这些最新细节提供了对工作及其路径的深入了解,这些工作有朝一日可能将研究纳入航运产品。

头像创作

为了创建每个头像,Facebook使用一个专门的捕捉工作室,由132个指向中心的摄像头组成。在一个人制作各种面部表情的几个小时后,系统会生成一个独特的照片级逼真的化身脸部。另一个新建的系统捕获尸体。

“创建栩栩如生的头像目前需要在Facebook Reality Lab的匹兹堡办事处 使用 高度定制的相机和麦克风系统捕获大量高质量的研究参与者的音频和视频,”来自Facebook的电子邮件解释道。“这些数据用于训练人工智能系统,有朝一日可以让用户通过几个快照或视频快速轻松地构建他们的编解码器头像。 “

由于显而易见的原因,当前的流程不会与消费者合作,因此研究的主要焦点是使用机器学习来生成这些细节的化身。有一天,你在Facebook或Instagram上现有的照片就足够了。我问Sheikh他是否尝试将自己的照片从Facebook提供给它的系统,看看他是否可以用它来构建一个化身。他说,在尝试之前,他们需要更多地了解光与皮肤的相互作用。

“当我们做这样的工作时,我们希望确保它得到用户的同意,”他补充道。

捕获研究

为了驾驶这些头像,Facebook在头戴式捕捉研究设备的内部构建了一个带有摄像头的系统 - 其中一个位于鼻子间隙中。

结果令人印象深刻。

VR头戴式耳机内部相对较暗,您不希望用光线遮挡用户。可以使用人眼看不到的红外灯照亮特征。这些类型的灯用于Oculus Rift“Constellation”位置跟踪系统,并且通常用于眼睛跟踪。Facebook在这里使用相同的技术来阐明捕获系统中的功能。

其他方法

Facebook在加利福尼亚州的索萨利托(Sausalito)有一个独立的团队,致力于采用不同的逼真方法。

“这涉及探索可以与任何虚拟环境互动的基于物理的化身,并结合生物力学,神经科学,运动分析和物理驱动模拟等领域的基础研究,”Facebook解释说。“这种技术仍然依赖于实时数据捕获,就像Codec Avatars一样,但它不是驱动神经网络的实时传感器数据,而是驱动一个受人体解剖学启发的基于物理学的模型。”

Facebook应该在今年晚些时候更多地分享这种方法。

长期研究,但仍然遥远

Facebook的Oculus多年来一直在研究面部追踪和逼真的化身。在SIGGRAPH 2015上,Oculus 与USC合作进行的研究揭示了一种硬件原型,其笨重的臂与开发套件相连。

耳机泡沫衬里中的附加传感器将读取相机被阻挡的表情。

匹兹堡的FRL没有涉及早期的研究。Facebook正在“通过可能的解决方案”,Sheikh分享了一些“奇迹”,需要为此成为主流。他说,总的来说,他们的目标是最终将技术转移到产品团队。然而,他告诫说,他们首先需要弄清楚如何使用提供的最少量信息来制作逼真的化身。

谢赫说:“完成身体的其他部分是”另一个奇迹。

违背距离和数字Dopplegangers

在消费产品中,Sheikh团队的优质头像以及Facebook正在建设的其他人的头像将从根本上改变沟通的本质。我们再也不会用有限的表达来谈论卡通近似。无论距离远近,我们都会与人类交谈。

一些研究人员和科学家概述了再现细微差别的人类表达的问题,这是 在VR中找到最难找到的解决方案之一。但是,有一天,与这些类型的虚拟形象的对话可能是远程通信的主要形式,取代并消除了视频通话的限制。

这项技术的发展也带来了巨大的风险。如果你的外表和举止可以像其他人一样穿着,那么数字假冒的风险是巨大的。

“沟通的基础是信任,”谢赫说。“你必须绝对肯定是我。”

Sheikh通过电子邮件更详细地解释了这一点:

这是早期阶段的研究,随着我们继续开发这项技术,我们正在实际考虑我们可以采取哪些措施来打击滥用虚拟形象。例如,我们正在探索确保您的头像在真实帐户中安全的想法。我们如何在我们的平台上使用真实身份将是其中的关键部分,我们已经讨论了未来设备的几种安全和身份验证选项。显然,我们在耳机方面远离这种类型的技术,但我们现在想要考虑解决方案。

免责声明:本网站图片,文字之类版权申明,因为网站可以由注册用户自行上传图片或文字,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除。