深度 | 起底苹果 AR 布局，人才、技术、专利三者皆备

雷锋网按：苹果要让手机率先支持 AR 功能的消息终于被确认了。当 VR、AR 被满世界热捧时，苹果似乎一直无动于衷，即便 CEO 库克多次对外表示对 AR 十分感兴趣。实际上，苹果一刻也没有放松对新技术的关注，不管是招兵买马组建团队，还是通过收购、申请专利以储备技术，一切的一切都为了“万事俱备”。所以，不必着急，惊艳的产品值得我们等待。

iPhone 8 延期发布的原因让我们再次证实了苹果对 AR 的野心。

苹果分析师 Brian White 在给投资者一份说明中提到，“因 3D 感知技术的一些挑战，5.8 英寸 iPhone8 将会延迟数周上市，但能在 12 月假期之前与大家见面。”其中，他肯定了 5.8 英寸 iPhone 8 中将采用 3D 感知技术和 OLED 显示屏，而此前也有消息表示，正是因为屏幕和 3D 技术前置摄像头两者难以完美匹配，造成了 iPhone 8 的延期。

关于苹果在做什么样的 AR 产品，外界有不少猜测。直到今年 3 月份，彭博社的一篇报道让我们对此有更加详实的了解。

产品方面，彭博社确认苹果手机将率先支持 AR 功能。另一方面，苹果也正在研发数款 AR 产品，其中包括数字眼镜，可与手机无线连接，并为用户呈现电影、地图等内容。听起来有些像以前的谷歌眼镜，但比起手机的 AR 功能，苹果 AR 眼镜等待的时间要更久。

另外，报道提到苹果正在为 iPhone 研发的一项功能是，改变所拍照片或是照片中特定物体的景深；另一项功能是，对照片进行抠图，如可抠出人像的头部，对其 180 度翻转。

这其中可能会加入 AR，生成虚拟特效，类似于 Snapchat 的效果。为此，iPhone 摄像头将有望依赖于深度感知技术，并且使用由 PrimeSense 公司研发的算法。

或许，苹果不会一次性推出所有这些功能，但现在 iPhone 8 证实将采用 3D 感知技术，想必这也是苹果向 AR 迈出的一小步。

雷锋网也从一位业内人士口中得知，苹果会在手机上增加一个前置深度摄像头，用以面部识别和手势识别，而由于功耗问题没有解决，并没有采用后置。该业内人士表示，“从应用的角度，前置摄像头的象征意义更大一些。”

同时，回顾过去苹果的一些动作，雷锋网发现，苹果针对 AR 的人才和技术储备愈加完善。

人才储备

Mike Rockwell 2015 年加入苹果

根据彭博社引述知情人士的报道，苹果已经组建了一支研发团队，该团队聚集了各路硬软件研发的老兵。而早在 2016 年 1 月，雷锋网曾报道苹果当时正在组建一个数百名的“秘密研发团队”，对虚拟现实头盔等其他技术进行试验。

该团队由前杜比执行副总裁 MiKe Rockwell 负责，他曾是杜比的标志性人物，担任过 AR 公司 Meta 的顾问。作为苹果内部 AR 团队的负责人，Rockwell 向 Dan Riccio 报告工作，而 Riccio 主要负责 iPhone 和 iPad 硬件工程团队的工作。

从去年开始，苹果陆续将其他软硬件部门的人调往 AR 团队，包括曾负责苹果手表设计的 Fletcher Rothkopf，创建了 THX 标准（一种音效标准，）的 Tomlinson Holman。

苹果还请了从 3D 视频到可穿戴硬件各方面的人才加入，包括前亚马逊 Lumberyard 虚拟现实平台首席工程师 Cody WHite，前 Meta 软件开发总监 Duncan McRoberts，前 Oculus 分析师 Yury Petrov，以及曾在 HoloLens 和 Google Earth 工作过的 Avi Bar-Zeev。

这支团队中也加入了前维塔视觉特效公司成员，他们曾参与过《阿凡达》、《金刚》等影片的制作。

技术储备

这一点主要体现为苹果收购其他公司，以及专利申请。

FaceShift 的面部识别

以下是苹果从 2013 年到 2016 年陆续收购的一系列公司：

• 2013 年 11 月 收购以色列硬件公司 PrimeSense 

  该公司主要为微软的 Xbox 游戏机制造Kinect 动感捕捉摄像头。

• 2014 年12 月 收购脸部视觉识别公司 FaceShift

  该公司的技术能够利用摄像头对用户脸部图像进行实时捕捉，甚至可以生成虚拟的头像。

• 2015年 4 月 收购以色列初创公司 LinX

  LinX 创建于2011年，该公司的技术能够通过将数字图像分成三个部分的方式在照片中增加景深。

•  2015 年 5 月 收购德国 AR 公司 Metaio

  该公司主要开发智能手机平台的增强现实应用软件，比如其曾经开发一款让家具视觉化呈现的工具。Metaio 曾经的 CEO Thomas Alt 目前属于苹果战略交易团队，决定应该投资哪项技术。

• 2016 年 1 月 收购 Flyby Media。

  该公司主要利用空间感知技术，可以强化人们对其周围环境的了解。

甚至还有消息称，库克曾拜访过 Magic Leap 的办公司，并表示对他们 AR 技术很感兴趣。

“带有摄像头的可穿戴信息系统”专利描述图

同时，苹果也没有放松对专利的申请，如下：

• 2015 年 5 月 申请柔性屏幕专利

  这是一种在固体发光像素周围设计许多小孔的屏幕，可将屏幕变得又薄又柔软，以帮助 AR 应用。通过像素现实虚拟图像，同时透过小孔查看屏幕另一边的现实图像。

• 2016 年 7 月 申请 AR 显示使用到的类似光波导技术

  这项技术是让图像从离轴源文件中投射出来，通过透明物质(护目镜或薄片)进入视线。

•  9 月 申请 AR 映射系统

  这套 AR 映射系统能够利用 iPhone 的硬件将增强现实功能叠加到直播视频上。用户通过手机应用可以在一些现实场景中标记数字信息，比如街道名称、兴趣点等等，并用摄像头进行扫描。
  

• 11 月 申请 AR 头盔专利

  这项专利描述的是一种保留移动电子设备屏幕的头盔式显示屏仪器，头盔式屏幕系统以及操作方案可以让用户“配对”或“解除”。
  

• 2017 年 2 月 申请带有摄像头的可穿戴信息系统

  这项技术可能会用在一款头戴显示器中，而显示器上搭载的摄像头可以接收与显示器相同视角的信息。该系统可下载有趣的内容，并用 AR 展示出来。
  

• 3 月 申请专利名为“利用景深加强人脸检测”

  这项专利是通过计算机视觉系统，利用专门的硬件和软件进行人脸识别，尤其是已经保存到数据库中的人脸数据。

2016 年 11 月，苹果被爆与 LG 联合开发 3D 摄像头模组，研究如何将自家的3D摄像头技术应用于 LG Innotek 生产的智能手机摄像头模组。

从上述种种来看，我们可以确定，苹果规划了两条 AR 产品路线，一是让新迭代的 iPhone 具有 AR 功能，二是打造一款 AR 眼镜。

AR 手机的难度在哪？

先来说说， AR 手机。要打造这样一款手机，到底有什么难度？

此前，雷锋网采访三维建模公司积木易撘时，CTO 邹圣兵曾解释三维建模扫描的成像原理：

两台工业相机和一个投影仪可组成最小的扫描仪单元。摄像机得到深度信息，投影仪能投射已知编码影像，通过前方交会计算得出点云，每幅投影仪得到的点云之间实时匹配，再进行全局优化，实现表面三维点云重建，点云三角网格化，也就是得到了投影仪投影对象的三维模型。

“手机要搭载 AR 技术，不只要包含投影仪、摄像头、还需要镜子、手机。”邹圣兵向雷锋网近一步解释了手机实现 AR 功能的原理。

传统的 AR 设备通过手柄、眼球跟追、手势识别等，实现与投影仪交互，让投影仪投影已知彩色编码，通过摄像机和镜子拍摄的图片，计算出深度信息，然后再将计算出的深度信息结合slam算法（建模只是点云信息，不进行后续），与真实世界进行融合、对齐。接着，在对齐的虚拟场景中进行渲染，渲染出接近真实场景的效果，这就是 AR。

手机如果集成了投影仪、两个摄像头、一面镜子，手机在用户手中，操作投影仪所对的方向，投影已知彩色编码图像到前方对象上，产生畸变的彩色编码图像被两个摄像头拍摄，拍摄的两张图片在手机处理器进行计算，得到前方对象的点云信息。镜子能得到广角图像不像摄像头有景深限制，镜子得到的广角图像，范围较大，不只是包含了投影仪的投影对象，也包含前方的场景图片。

该图片传入手机处理器进行计算，结合 slam 算法，计算出场景的轮廓等信息，再结合手机在场景中的相对位置和视野等信息，这样就能实现扫描的点云信息与虚拟场景的融合，在虚拟场景中渲染，得出接近真实世界的效果。

Phab2 Pro 的 AR 效果演示

而当前市场上真正推出的 AR 手机是 Phab2 Pro，它是由联想和谷歌合作的产品，采用了谷歌 Project Tango 技术，内置三颗摄像头，包括一颗鱼眼镜头和一颗红外传感器，可实现空间定位。

邹圣兵表示，

“Tango 手机中摄像机、两个摄像头、一面镜子和对应的处理器是一个整体，是由一个独立厂家提供，没有与手机主板真正集成，而且由于三维重建需要很强的处理器和较大内存，这都不是独立模块能达到的。

如果苹果要支持 AR，并且直接集成在主板，AR 处理与手机其他处理是一个处理器，就要观察苹果是否完成相关生态链的收购整合。目前来说，还没见到样机，不好评判。”

由此可见，苹果要成功做出一部 AR 手机，技术是一方面，各技术的集成也十分关键。不久前，苹果宣布自己将独立研发 GPU，可能会将CPU 和 GPU 更好结合，从而针对 AR、AI 提升移动设备计算能力。至于iPhone 8 或是后续产品是否会有惊艳的表现，我们可以保持期待。

此外，AR 眼镜方面最具代表性的便是微软 HoloLens，以及 Meta。而今年一月有蔡司员工向国外科技博客作者确认，苹果正与蔡司合作研发 AR 眼镜。

综上，不得不说，苹果对 AR 的野心可不止一点点。当然，我们也希望苹果能让 AR 技术更加成熟，并走向更多的消费者。