揭秘低调的Oculus Touch，以及它背后的技术大牛

【编者按】本文作者朱韬，VR行业科技研究员。

业界各路人马和玩家对旗舰Oculus Rift 正翘首以盼，期待惊喜。 众多国内厂家更是磨刀霍霍, 心想着明年600亿美元的大餐啊。相较而言大家对实现输入/手部跟踪的 Touch 多观棋不语，冷清得很。 究其原因大概是，能上台面可资借鉴的有关干货实在太少。相关的消息多来自YouTube 上 Palmer Luckey专门接受记者采访谈Touch的一段视频。因而难以满足大家的好奇。

本文作者依个人对几位Oculuser个性特长的了解，试图从一个新的角度，解析Touch的技术难点并讨论其实现方法，以飨读者。

（Palmer Luckey）

首先，让我们先回忆一下 Palmer谈话的要点。Touch 的原型研制从DK1时代就开始了，显然是在Palmer 的领导下。 目标定位是一款虚拟世界中的手，而你渐忘了正在使用手柄。在位于拇指摇杆和食指开关上，还有中指的抓取键上，都装有能感应你手指的传感器，内置的传感器阵列跟踪手指自然社交动作，比如，伸食指指着某个地方，抓东西，挥舞以及竖大拇哥等姿势。

在初步原型阶段（应该是指接受采访的时刻），拇指和食指的动作假设是二元的（要么握住，要么打开）。但目标并不仅仅能感应二元状态，然而千人千手，算法如何适配是难题。对于产品最终形态，广大网友在Palmer的推特上穷追。于是Palmer 隔天主动表示并不希望先说大话，卖了个关子，给人期待和想象空间。

（Oculus Touch）

DK1 诞生后被Facebook收购的好运气就不在这里多讲了。Oculus 这几年迎来了 Steven M. LaValle（2012年9月）, Christoph Bregler （2014年12月-2015年11月）, Tom Forsyth (2013年5月），还有一大帮Andrew Davison的学生，包括 Richard Newcombe， Renato Salas-Moreno，和Steven Lovegrove （2015年5月）。Andrew有个清华本科毕业的学生现也在Oculus。

从纯学术成就角度看，个人认为Oculus 里头首位大师当推 Christoph Bregler。Chris 是计算机视觉与图形专业，曾在Stanford和NYU呆过，与好莱坞关系密切，但毕竟不是科班搞VR的。他的专业强项包括 了人的姿态光学跟踪（基于Markerless Motion Capture from Video）和机器学习（基于神经网络）。不过，他在Oculus呆了大约一年时间后，前几天去了Google。他的离去给我的启示是，未来Oculus 对姿态跟踪的技术思路可能是Marker-based Mocap，还可能大量用“不依赖光学传感”的传感器及信息融合。

（Christoph Bregler）

第二位Steve LaValle 是科班搞VR的，主要负责 Sensor fusion、magnetic drift correction和kinematic modeling。 在二年多的时间里Steve全职指导一帮算法和软件工程师实现各种算法优化，包括“星座”跟踪系统，EKF多传感器融合，IMU解算，等等。

从技术面看，他应该是Touch（内部名为Toybox）的负责人。这样的话，Touch的基本技术框架是 - 多模式传感融合+手势识别。Steve本身并不十分擅长手势识别算法，也大概否决了Chris的（纯视觉）思路。这部分具体工作就可能交给了Richard Newcombe一班人等， 因为他们擅长用光学 + IMU之类的东东搞（手指/手势）识别。

不过，这回待处理的可不是图像数据， Richard一伙不会一帆风顺，主要卡在千人千手上。 这也是Palmer 对记者不说大话的原因吧。对于Steve来说，剩下的都是工程性事务，大功基本告成。应该不会再出现像是将在东莞测的重力加速度拿到洛杉矶来用的糗事。于是乎写起书来了，一本名为《Virtual Reality》的新书。封面都请人设计好了，已完成前面五章（包含虚拟现实的发展历史,几何,光学和生理视觉等），至于后七章（包含渲染、运动检测、跟踪、接口、评估、语音和前瞻等）还在写。希望能早日完成全书。

（Steve LaValle）

接下来顺便谈谈 VR界牛人Oliver Kreylos。

 其实Oliver从未加入Oculus，而是针对Oculus的“黑客”。很多人都知道那个著名的“星座”位置跟踪系统，最早就是他在博客上公布的 (GitHub上也有其他人干类似的活，但水平低些)。现在的Touch上也用这套系统。于是乎，有不少砖家又拿Oliver的博文内容来攻击。说是Touch的光点身份在消失后需要五个时钟周期才能恢复，导致延时太大。其实这个说法是站不住脚的。

（Oliver Kreylos）

还记得Palmer说过光点的位置是经过多年时间优化安排的吗? 刚性物体（手柄或头盔）上的运动光点+有限元分析法相结合，可有效实现在极其短的时间内恢复跟踪。万一经常发生手柄在视场外的情况，可通过增加摄像头的数量来解决问题。拿延时说事是上了Oliver的当。不可否认Oliver Kreylos是很有成就的VR学者, 但世界上没有人什么都厉害。

简单谈谈Tom Forsyth，以前在Valve娱乐，是一名经验丰富的软件工程师，现负责SDK。他应该不是很精通Unity。在2014 年十月以前，Oculus都没有专门的Unity工程师。国内的程序猿口传很多Oculus在Unity上犯低级错的段子，真假难辨，所以不好意思在这里讲。

刚才谈的是领袖级个人。说到团队， 如果分成软件，硬件，CV， 和 SLAM 队伍的话， 个人以为 Oculus 的 SLAM 团队是史上最强的，名师出高徒哇， 甚至强过微软和Google的。

CV团队有一大帮 MIT 的毕业生，强在有创业经验和三，五年的工程经验。软件团队的基本要求是精通点云库，State Estimation, 和多模式信息融合。似乎比国内同质的创业公司要求高些。而计算机硬件方面，他们有许多还是 UIUC 的实习生，吃的苦头不少。硬件毕竟是我们中国的强项。

【关于转载】每一个有态度和有责任的媒体都会懂得尊重他人作品，我们相信友媒在转载雷锋网文章前会取得授权并标明出处和作者，雷锋网和作者尽管都有权追究责任，但我们并不希望分散大家宝贵的阅读时间，尊重作品本身就是一种态度。