在 AWE上，我体验了世界第一个眼球追踪的VR头显

【编者按】本文由元代码Nada供稿，以下为业界大牛 Doc – Oliver Kreylos 的第一手游记记录。

2013年时我曾参加过一次增强世界大展会（Augmented World Expo，AWE），那时我还纠结在 AR 的海洋里。现在不同了！AWE 都开始和 UploadVR 举办这个大会。而这次呢，我先为大家带来我上手体验的 VR 头显的一些记录。

eMagin 2k×2k VR HMD

eMagin 那个尚未命名的头戴显示设备是我去这次 AWE 的主要目的。这个之前已经有一些看法和细节，但我一直对其宣称的80°×80°可视角度持怀疑态度。和 Oculus Rift，以及 HTC/Valve Vive 或者其它的同类头戴显示设备不同，eMagin 的头显是基于 OLED 微型显示器（而微型显示器也是他们的核心业务），之前各种基于微型显示器的头戴显示设备，包括 eMagin 自家推出的的 Z800 3DVisor，在可视角度方面都不尽如人意，一般最大也不超过 40°。毕竟，把一个面积只有一平方厘米左右大小的显示屏放大到覆盖使用者大部分的视野，比起放大几吋的显示屏所需的光学镜片要复杂得多。

没想到我的怀疑是错的，而 eMagin 对于自身的参数所言不虚。我试了这个头显，并和他们的项目经理 Dan Cui 一起吃了早餐并进行了深入友好的交谈。那么，细节如何呢？首先要明确的一点是，这只是一个非常初级的原型样机，不是开发版，更不是消费级产品。目前它还很重（接近500克？），大部分的重量都在前面部分；没有安装任何种类的传感器；上面没有绑带；屏幕也不是最终形态的（下面会细说）。Dan 提到，开发者版的最终发布日期，他们希望能在明年第四季度搞定。

那么，这个设备的光学镜片部分已经非常让人感到惊讶了，而其总体的形态和设计也让我愿意在大庭广众之下去佩戴。当然，得在它有增强现实模式的前提下。 

它有着很典型的赛博朋克风。

我们从显示系统开始说吧 。这是单眼 2k×2k 的 OLED 微型显示面板（0.63″ ×0.63″），同时也有极高的像素填充率（无纱门效应）。在目前的原型机中， 屏幕运行在 60Hz 下（通过一个 DP1.2 接口来连接电脑）的全余晖模式下。据 Dan 所说，低至亮屏时间为1毫秒的低余晖模式是立马可行的，运行在 85Hz 下也无需对电路进行大的改进，而在目前使用的 OLED 屏幕下 120Hz 也是可以做到的。

目前这个屏幕面板最大的问题是每个像素中并没有蓝色亚像素。但是真不好意思，其实我第一次试的是很竟然没有一眼看穿，因为内容是在一个暖黄红色的虚拟环境中。而显然这是不行的，但 Dan 保证完整的 RGB 面板已经在生产中了，完事立马整合上线。届时对于其屏幕的质量就需要重新判断了，毕竟 OLED 的蓝色亚像素比起红绿亚像素的生产难度要大很多是业界众所周知的难题。因此，之后屏幕的亚像素布局分部也可能会发生变化，可感知的屏幕分辨率以及像素填充 率导致的幕帘效应都有可能发生改变，一如目前流行的 Pentile 排列一般。但毕竟 eMagin 对于 OLED 的专业程度还是显而易见的，我对最终成品表示看好。

光学系统的其它部分都是顶级的。

订制的三元透镜系统打造了一个相对宽广的可视角度：80°×80°， 看起来比 DK2 只小了那么一点，当然我还是希望以后能有机会放到一起进行直接对比。Dan 声称在未来的版本中可视角度还可以增加一点。画面有中等程度的几何形变（演示的软件显然还没有任何预畸变矫正），但我没发现有色散的现象，因为即便有， 也会由于没有蓝色导致很难察觉。

屏幕始终在聚焦状态，毕竟物理瞳距和每只眼的焦距都可以分别调节。目前的原型机并不能通过感应器感应物理焦距数值来传到软件里去，而这却是非常需要的！镜片的焦距只能在镜罩上翻时进行调整，难度增加。是的，镜片和屏幕部分可以上翻，意味着你想的时候都可以往上一翻看到外面的世界。

但最大的改进显然是屏幕部分。和 DK2 乃至 GearVR 比起来，其分辨率的差别是显而易见的。Rift CV1 和 Vive 的屏幕分辨率都是 1080×1200，假设可视角度都在 100°×100° 的话，这个头显的 PPD（Pixels Per Degree） 达到了25，超过 CV1 两倍有余。

所以呢，我非常激动地想象着这个头显能到全 RGB，≥85Hz 低余晖屏幕，内置或外置位置跟踪感应器或者LED，以及改进的工业设计（降低整体重量，改进的重量分布，头部绑带等）之后的样子。对于价格，现在还没有任何信息，但 Dan 暗示了最初的版本会在消费级的区间内，一旦大量生产，最终产品还是很有竞争力的。这么说吧，我对于能更早拿到这个东西还是愿意付出大笔钱的，我都已经想好几个应用了。

 castAR

我还有幸尝试了一把 castAR。我对这个东西一直挺好奇的，因为围绕着这个东西的话题和争议都不少。首先要说的是，“castAR”名不副实，叫“castVR”才恰当。对我来说，AR 的意思是把虚拟物品无缝添加到真实环境中，无论是通过视频后处理还是透明透镜。而 castAR 并没有用这两种方式：你需要先摆一个逆反射面板摆在面前，这个面板显然会挡住后面的东西。而虚拟物品是在这个面板和使用者之间的空间内形成的。这属于“鱼缸”或者“内包含”VR，功能和形态都更接近 CAVE 或者其它基于屏幕和投影的 VR（比如 Z-SPACE）。

当然，这都是文字上的东西。

那么 castVRAR 使用起来到底怎样呢？

嗯，其实还不错。我之前对于几个细节的实现都是持怀疑态度的：立体成形质量，跟踪质量，亮度，可视角度以及交互质量。

在我一一评价这些之前，先简单说下这玩意儿的工作原理，毕竟它的方式和 Oculus Rift 这种头戴显示设备有很大不同。

castAR 虽然也是头戴式，但并非通过眼前的屏幕来成像，而是通过在使用者左眼左边和右眼右边的小投影，把光线投射到前方的逆反射材料上，然后会把光线再反射回使用者的眼睛里去。由于投影器和眼睛的位置非常接近，castAR 并不需要事先知道逆反射材料的位置来设置一个合适的投射矩阵。当和六自由度的头部跟踪结合后，castAR 能在使用者和逆反射材料之间形成非常良好稳健的虚拟物体。

我之前还担心立体成像质量，两眼之间接收到的信息可能发生交叉。不过事实证明，castAR 打造了几乎完美的立体质量。

逆反射材料能把左眼投影主要传递回左眼，而右眼投影主要传递回右眼，但毕竟受限于真实物理环境以及材料属性，信息杂质很难避免。不过没想到 castAR 使用了偏振过滤的方式来将杂质进一步去除（正好，逆反射材料是金属的，能保持偏振信息），这样就打造了几乎完美的立体质量。

第二个问题是跟踪质量。

castAR 使用了光学跟踪，基于头显上的两个摄像头（不知道是不是用两个摄像头还是一个立体摄像头），以及一个主动红外 LED 阵列。基本上，这就是 DK2 光学跟踪系统的反相而已。这个跟踪系统还凑合，但也没多棒。时有卡顿（可能在几毫米到一厘米之间），延迟也较为明显，导致虚拟物体时有漂移而非稳定在空间某处。尽管让人不爽，但必须要指出这并不会和全封闭式 VR 那样导致人晕眩，因为虚拟物体只占到使用者视野的一小部分。当我问起时，一个 castAR 的工作人员称跟踪完全依赖光学，没有惯性传感器和数据融合的过程。但即便如此，我也看到过更好的纯光学跟踪，毕竟这个演示里的跟踪范围较小，红外阵列也比较大（大约5″×5″）。

单个输入设备也是通过同样的方式跟踪的，两个前置摄像头和红外阵列。尽管输入设备的卡顿会不那么明显，但摄像头的可视角度成了主要问题：显然手杖只有在大致朝向红外阵列的方向时跟踪才正常。这让你想去拾起虚拟物体，翻转它们都变得困难：一翻动手杖就没反应了。我早已习惯全方向跟踪的手柄，这就很不爽。castAR 通过一些演示引导你主要瞄准红外阵列而避免了这一点，但对于普遍的一些应用，通过惯性传感器、数据融合来进行补偿应该能对跟踪质量带来很大的改进。

好的一面来说，投影器的亮度和对比都相当不错。我以为画面会比较暗淡，但由于逆反射材料的缘故，从投影投射到回到使用者眼中光线基本没怎么丢失，在光照明亮的展示厅内虚拟物体显得明亮实在，绝对算不错的。但也不是完美，有个问题就是投影器的投影角度较小。castAR 的可视角度被两个因素限制：一是逆反射材料的面积大小（任何在使用者和逆反射材料中间之外的物体都会看不见），二就是投影器的最大投射角度。我问了下之后，得到的数据是 castAR 的投射角度是 70°，不过在实际使用中我倒不是太在意。

最后，关于校准方面，castAR 在演示中的虚拟手柄和实际中的手柄是要差那么几个英尺的。

这按理来说不应该发生，尤其手柄和头部的跟踪都是基于同一个红外阵列。我不知道这是不是由于投影毕竟和使用者眼部不在同一个位置，经过逆反射后离投影部分比较远的物体就会有较明显偏差。这样的话，最后还是需要知道逆反射板的位置平面方程才能设置一个恰当的投影变量参数。

总的来讲，CastAR 和其它基于屏幕的 VR 系统效果都是有得一拼的。它拥有很好的立体质量（比起基于 LCD 的 3D 电视更好），不错的亮度和对比，然后回复反光板价格也便宜，可以基于需要进行大面积铺盖。这样就可以做一个类似 CAVE 的系统，整个房间全装上逆反射材料，房间内可以自由观看的全息影像，而只会被70°投影视角所局限。castAR 比起其它全封闭类的虚拟现实系统，包括 CAVE，更大的好处就是能允许多人同处一个空间进行交互。这对于联合办公来说是非常重要的一点。逆反射材料能减少多头显系统投影造成的相互之间的信息污染，而且很有可能比起那些基于屏幕的系统要便宜很多。如果他们能搞定跟踪部分，我就买买买了。

FOVE

我只是简单试了一下这个号称“世界上第一个眼部跟踪虚拟现实头戴显示设备（这么说不对，你说“第一个消费级虚拟现实头显”还差不多）”的演示。两分钟的演示，我感觉到的是在视野中间跟踪足够好，但到了边缘就非常不精确了。演示之前还需要做校准，你需要把眼睛盯着几个小点。正式演示中是一个很激烈的射击游戏，因此不好去评价头显本身的屏幕分辨率和质量。

我注意到了一个奇怪的效果：当我低头去看我下面的敌人时，瞄准射击就完全失效了。可能是游戏自己的3D光线计算出bug了吧。

 SMI基于DK2的眼球追踪 / AltspaceVR

我还去试了可能是另一个世界的第一个眼球追踪虚拟现实头显：SMI 的基于 Rift DK2 的眼球追踪。我之前试过 SMI 的基于 Rift DK1 的眼球追踪。这个新的看起来更好了一点：你不再需要在镜片上切一个长方形的洞；新的跟踪摄像头在镜片后面，不会挡住什么东西。从功能角度来看，比起上一版并没有什么进步。即便经过了完整的校准，我瞄准的方向和跟踪出来的结果都有偏差。其中有个演示，我只有在把物体先放到视野中央后才能用追踪，那么会让眼球追踪本身都失去意义了。

当然这有可能是因为我戴着隐形眼镜。SMI 的跟踪会考虑到使用者的眼珠和眼角膜形状，而我的隐形眼镜在我四处看的时候会些微改变我的眼角膜，可能造成偏差。不过无论怎样，这些都是需要被提及的。我猜当 VR 头显发售后隐形眼镜会引来又一波潮流。

我倒是希望可以把 SMI 和 FOVE 的眼部追踪准确度进行比较，但 FOVE 的演示让我们很难做到（那些物体的命中面积到底有多大？）这点。只有等有谁能拿到 FOVE 开发者版本再看了。

我还想简单提下 AltspaceVR 的眼部跟踪整合。它有两个部分：基于瞄准的导航和交互，能把目标物体或位置进行居中操作，以及用户虚拟形象的眼部动画，能把用户眼部的方向和眨动都映射到 AltspaceVR 的小萌机器人虚拟形象上。后面这个部分其实做得挺一般的，眨动监测只能偶尔被监测到。可能这个新增加进来的眼部跟踪还需要改进吧，不过算一个额外的亮点了。

Wearality Sky Lenses

这是在 SVVR ’15 Expo 之后我第二次试 Wearality 这个 150° 可视角度的镜片了。这次我有机会仔细检视这个镜片。VR 头显的可视角度到底应该如何测量呢？一般来说并不容易，但 Wearality Sky 的开放式设计让测量简单了许多。当你戴上头显后，我可以从镜片下面看到现实世界。

戴上之后，我调整自己位置，把镜片左右边缘和面前桌子的左右边缘对齐，然后看到自己离桌子大概是三英尺，桌子大概宽六英尺，这样一换算可视角度应该是90°，而非150°。当我问及给我们做体验的人这个情况时，他说150°需要针对更大屏幕的手机。我没有去测量使用的这个手机，但看起来比三星S5要大一些，大概是5.5″的样子。

Wearality 的网站上没有提及可视角度是基于屏幕尺寸的 ，尽管显然这个大家应该都知道，但你好歹也得提供个可视角度/尺寸的列表吧。而且给我们做体验的人也非常愉快地在继续让大家来看看这个150°的头显，即便在他告诉我这个数字仅仅针对于更大屏幕的手机之后。这是在干嘛？

之后我看到 Wearality 有一个演示能通过在渲染图像上增加不同大小的黑边来切换不同的可视角度，但这样就让他们用小尺寸手机来适配镜片但一边说自己有大可视角度的行为更站不住脚了。