神奇的虚实世界：关于你可能还不那么了解的智能眼镜

【编者按】本文作者艾韬，易瞳科技CTO，多伦多大学计算机工程专业毕业。多年跟随“世界穿戴电脑之父”Steve Mann教授，专注于智能眼镜的基础研究。

智能眼镜的崛起，是必然的趋势。大约在四年前，我认识Steve Mann教授时，就毅然决然地去研究智能眼镜了。Steve Mann，世界穿戴电脑之父，是一个疯狂的全才，号称“当代达芬奇”。没事作个小曲，有空印个电路，搞搞服装设计，解个微分方程，闲时写个剧本，熬夜撸个代码在他那儿完全不是事儿。

穿戴电脑是个大交叉学科。在他的实验室里忙碌的这三年，不但学到了各种奇葩技能，更重要的，是让我系统地了解到一个从事穿戴电脑研究长达四十年之久的教授的思想体系，让我了解到智能眼镜的方方面面。从今年年初毕业回国到现在也快一年了，在国内看到了智能眼镜越来越旺的发展势头，内心非常激动。

在这里，我想把自己所学到的关于智能眼镜的浅薄知识分享给大家。同时也欢迎大家抱着纯洁的心态与我讨论接下来会提到的一些观点。有不当之处，请读者谅解指正。只要不打脸，一切好说。

认识复杂事物，先从概念开始

首先，虚拟现实（Virtual Reality, 或VR），增强现实（Augmented Reality, 或AR）和介导现实（Mediated Reality, 或MR）不是技术而是概念。在智能眼镜硬件上实现这些概念的方法才是技术。抛开各个公司各种越来越多的营销名词，我们需要来系统地理解一些基础知识。

智能眼镜的这些核心概念是一个连续体，像爱因斯坦提出的由时间和空间共同组成的时空连续体（Space-Time Continuum）一样, 真实的物理世界和虚拟的数字世界也共同组成了一个叫介导现实连续体（Mediated-Reality Continuum）的东西。在这个连续体中，我们可以清楚地理解虚拟现实， 增强现实和介导现实的区别和联系。

需要指出的是，在论文中的这个连续体是一个庞大的体系。为了增加阅读性，从而让大家简单地了解最近听到的这些名词，我会用自己的理解把它暴力地做一个非学术性的简化。

VR/AR — 虚拟现实和增强现实的关系

让我们先从一个点R0开始聊，这个点叫做原生感知现实。这是正常人类的视觉系统能看到并理解的世界。简单点来说，这就是一对叫“人眼”的相机拍到的一组照片，就是裸眼画面。

以此为原点，向右延伸，我们就有了一根数轴。数轴上的标度代表了我们往裸眼画面上投放数字信息的多少（Amount of Augmentation）。投放后呈现在我们眼中的画面就是增强现实。

当数轴上的标度不断增加，我们会离R0越来越远。最终，我们会得到一个极端情形，即虚拟现实。在这个离R0无穷远的点上，我们的裸眼画面完全被数字内容覆盖。现实中的事物，也和我们的双眼毫不相关。因此，VR是AR轴上的一个点，是AR的一个极端情形。我们说VR是AR的一个真子集。如下图。

根据增强现实量的多少，我们可以标出各个主流智能眼镜在数轴上的位置。接下来，我们来看几个眼镜形态例子，并对它们进行标注：

1. 轻量级AR — 类似Google Glass的智能眼镜

轻量级AR只可以小范围的显示数字信息。由于不需要生成电脑图像，通常是单眼棱镜光学透视的设计方案。我们把这类眼镜称为Notification System（提示型系统）。这类眼镜的市场是在于拍照，里面有个指导思想叫做Equivalence，大概讲的是如何通过分布在每个人身上的相机来构建和谐社会。这个有机会我以后再跟大家分享。

2. 中量级AR — 类似Microsoft Hololens的智能眼镜

这类眼镜视角最大达到50度，是中量级AR，可以在视野里叠加3D数字模型。为了立体效果，通常是双目棱镜光学透视。微软也把这类眼镜叫Mixed Reality（混合现实）。但这是他们做AR眼镜的商用名称，有别于学术上的概念。为了防止大家混淆，真正的混合现实涉及的范围在我们的文中没有提及，以后有机会再聊。在国内，有一家做中度AR的公司叫亮风台，创始人和我一样都是云南人，也是巧得一逼。

3. 重量级AR — 类似HTC和The Void的所谓动态VR眼镜

戴上VR头显，背上电脑，在一个布满标记和外置相机的体验馆里进行游戏。大家把这种体验叫做动态VR（真实环境会被渲染成游戏场景）。在我们的图上，大家可以看到它离VR很近，但已经不属于纯VR了。理论上来讲，它实际上是重量级AR体验。虽然用的是VR头显，但形态不能决定本质，所以大家要认识清楚。我相信动态VR是虚拟现实行业下一步的发展方向，也可以看出VR在从一个点慢慢往左延伸。

4. 纯VR眼镜

纯VR头显大家就见得比较多了。今年在国内涌现出了大批的VR头显设备。个人觉得头显硬件做的不错的公司是乐相科技。纯VR体验设备一般是固定式的，打个游戏、坐个过山车啊什么的，这种体验做得好的公司很多，大家碰到的时候可以花个几十块钱去体验一下。

从以上例子不难看出VR和AR的融合趋势，一方面轻量级AR开始在视角扩大的进程中向着中量级AR靠拢；另一方面，像The Void一样的体验馆，将现实环境的几何结构融入VR体验中，使得VR向重量级AR转变。那AR之后的MR如何实现呢？要实现MR，只需要在头戴显示器中加入一对特殊的相机。刚才理清楚了VR和AR的关系，我们就开始聊聊MR了。

MR — 数字化的视觉感知

让我们再回到R0，并开始另一个维度的延伸。之前说R0是裸眼画面，不同的人甚至是不同的物种，各自的裸眼画面是不一样的。有的人高，有的人矮，老鹰看得远，驯鹿看得暗。因此，在对现实本身的感知能力上我们还有另一条线。这条数轴从R0往竖直方向延伸，标度代表视觉感知能力的大小。这条线和原先的AR轴相交构成一个平面，这个平面就是之前提到的叫MR Continuum的东西。

在我看来，智能眼镜终极理想不是变成游戏机，而是革新人类视觉感知。智能眼镜不但要让人们看到比裸眼更多或更少的现实画面，还要在这画面上任意叠加数字内容。因此，可以修改的眼前画面就包括了现实画面和要叠加的数字画面。在下图中，裸眼无法直视的烧焊场景在MR眼镜中变得清晰柔和，眼镜使得佩戴者在看清场景的同时通过数字内容的指导去完成正在进行的工作。

我还在实验室时，曾经帮助一家美国的医疗成像公司做肤下血管成像的相关算法。这也是MR的一种应用。眼镜佩戴者就像有了X射线般的超级视力，即使是在具有挑战性的临床环境，也能快速容易地确定血管位置。

脑洞如果开大点，基于可以被数字化的现实，我们可以试着去做一些很神奇的事情。像下图这种立体街头艺术可以做到眼镜中来。

甚至，我们可以通过各种滤镜把双眼看到的景物以某种画风重新渲染。让你身处在一片花园中看到梵高或达利眼中的世界。

实现了MR概念的智能眼镜，就是给你一双神奇的眼睛，然后根据你的需要再让你看增强现实。因此，AR比MR少了一个维度，是MR的一个真子集。这样我们在MR连续体中就衍生出下图关系。

看到这里，有心人可能已经发现易瞳科技设计师的匠心了。除了像大眼套小眼外，它表示的就是MR连续体。实际上Logo有四个圈，那少了的一个圈（虚线部分）包含的部分是什么呢，我这里先卖个关子，大家不妨来猜猜。

较之VR和AR，MR的概念范围更大，不仅要身兼AR和VR，还需要在协调的基础上，开创新的技术，钻研新的算法。以这些概念为核心的智能眼镜的出现将使人们对计算机的认识产生观念上的变化。这是一个哲理，也是人类史上计算机发展的一个潮流。

接下来，我会陆续发文，讲一些关于智能眼镜其他方面的知识。有兴趣聊聊的，可发邮件给我。如果文中有误，欢迎指正。（附上公司邮箱，：info@visionertech.com）

关于作者：艾韬，在读期间获全额奖学金，其研究领域涉及半制定芯片和计算摄影学，研究成果多次发表在IEEE和ACM的国际知名研讨会上，并通过实验室对相关行业多个公司提供技术支持。作为推动智能眼镜行业的核心研究员，曾为加拿大国防研究部（DRDC）部长Dr. Guy Vezina做军用智能眼镜的学术研究报告。其归国创业获得导师Steve Mann和其实验室全力支持。

推荐阅读：

1、视觉技术的圣杯：光线追踪如何再现真实世界？

2、在讨论全景视频的未来之前，我们先搞清楚全景视频是如何实现的？