资讯 AR/VR
此为临时链接,仅用于文章预览,将在时失效

多篇论文和专利,Magic Leap这家“飘在空中”的神秘公司终于要落地了?

作者:李诗
2017/08/10 16:49

Magic Leap,这家仅凭炫酷的宣传视频就获得14亿美元融资的MR创业公司,依然还没有公布一款可以体验的头盔产品。

The Information、The Verge 等多家国外媒体报道指出,Magic Leap 的宣传视频存在误导大众的嫌疑,该公司的技术实际上远远没有形容的那么“先进”。他们虽然展示了可以日常佩戴的MR眼镜,但事实上却在将AR 技术融合到小型化设备上遭遇瓶颈。

我们都知道,增强现实的关键在于对环境的感知,所有的AR公司都得先解决这一基本问题。近来雷锋网发现从他们发表的多篇论文来看,“飘在云端”的Magic Leap也和大家一样在踏踏实实解决基本问题。

RoomNet房间布局估计

8月7日最新一篇论文名为:“RoomNet: End-to-End Room Layout Estimation(点击下载)”该论文致力于用AI的方法来估算房间的大小和形状,名为RoomNet。论文总结表示该论文对于室内导航,场景重建和增强现实十分重要。

多篇论文和专利,Magic Leap这家“飘在空中”的神秘公司终于要落地了?

在论文摘要部分我们看到:“论文聚焦于从单眼RGB图像估计房间布局,先前的工作将这个问题分成两个子任务:地板、墙壁、天花板的语义分割以产生布局假设,接着是迭代优化步骤来对这些假设进行排序。相比之下,我们采用更直接的方式来描述这个问题,作为估计房间布局关键点的有序集合之一。给定了这些有序关键点的位置,房间布局和相应的分割就完全清晰了。我们使用RoomNet(端到端可编程编码器 - 解码器网络)预测房间布局关键点的位置。在具有挑战性的基准数据集Hedau和LSUN上,与最近的工作相比,我们实现了最先进的性能以及200倍至600倍的加速。此外,我们提供了RoomNet架构的可选扩展,包括循环计算和内存单元,以在相同的参数容量下细化关键点位置。“

他们的研究注重从任何相机都能提供的常规图像中寻找房间布局。论文解释了利用相机识别房间布局的关键点,然后再用深度神经网络来识别这些关键点,他们提供了十种不同的办法。

在此前,雷锋网曾报道过他们曾展示了一个在房间里玩MR鬼故事的游戏,在这款游戏中,你会丢弃传统的游戏手柄,首先玩起手中的木块,第一阶段的任务就是学会如何使用这些木块并在 MR 世界中用这些工具完成交互。完成这步后,你的家里就会响起奇怪的声音,它们会越变越大,你要做的就是去找寻声音的源头。对于房间和环境的识别有助于这类MR游戏的实现。

多篇论文和专利,Magic Leap这家“飘在空中”的神秘公司终于要落地了?

迈向几何型深度SLAM

在两周前,他们还发布了一篇名为“迈向几何型深度SLAM(点击下载)”的论文,在这篇论文中我们窥见了一种创新的机器视觉技术,可以带领公司向创造一个强大的AR头盔迈进。

 这篇论文描述了一个由两个卷积神经网络(CNNs)驱动的点追踪系统,一个被称为MagicPoint,另一个被称为Magic Wrap。两个系统是快速简洁的,可以很轻松地在单一CPU上以30+FPS的状态运行。

多篇论文和专利,Magic Leap这家“飘在空中”的神秘公司终于要落地了?

简单来说:根据该文件,MagicPoint对单个图像进行操作,并创建重要的具有跟踪目的的2D点,这些点将被反馈到即时定位和地图构建(SLAM)视觉算法。将他们的网络与经典点检测器进行比较,团队发现“在有图像噪声时存在显着性能差距”。因为探测器性能会被噪点破坏,对传统探测器来说,斑点噪点尤其难以处理。

因为计算移动的物体的形状并不是一件容易的事情——不管是物体移动还是观察者移动 - MagicWarp的工作就是使用一对由MagicPoint生成的2D点的图像来实质地预测运动。MagicWarp SLAM算法以与传统方式不同的方式进行,因为它仅使用点的位置,而不是更复杂的“本地点描述符”,这是专用于描述包含编码、独特标识信息的事物的计算机视觉术语。

使用物理和合成数据进行测试,据说两个卷积神经网络能够实时运行。作者总结说:“我们认为大规模部署以SLAM系统驱动的深度学习Deep-Learning的日子并不遥远。

Magic Leap昨天通过了一项专利申请,“a compact optical see-through head-mounted display capable of combining, a see-through image path with a virtual image path(一种能够结合透视图像路径与虚拟图像路径的紧凑光学透视式头显)”,其主要是关于虚拟对象能实际地遮挡真实对象。

小结

虽然我们并不清楚Magic Leap是否会有一个如其CEO Rony Abovitz所称的“小巧,移动,强大而且很酷”的头盔,我们都尽力从他们那里去看到任何有用的成果。从这两篇论文和一项专利开看,雷锋网发现Magic Leap在环境识别、SLAM上都有了自己的成果,他们若是能实现自己的愿景: “直接将数字内容呈现在你身边,这些内容不断可以与用户进行交互,还能与现实世界互动”,再等三年又何妨。

长按图片保存图片,分享给好友或朋友圈

多篇论文和专利,Magic Leap这家“飘在空中”的神秘公司终于要落地了?

扫码查看文章

正在生成分享图...

取消
相关文章