资讯 专栏
此为临时链接,仅用于文章预览,将在时失效

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

作者:新智元
2016/01/25 13:14

【编者按】本文由新智元团队原创翻译。Oculus创始人Luckey曾被问:Oculus Rift是否能与廉价的 Google Cardboard 项目竞争?Luckey回答:“是的,因为Rift其实是不错的。这有点像在问高档的葡萄酒如何与浑水竞争。”但是,如果你认真看完这篇文章,那么你就会知道,Cardboard 项目只是Google进军虚拟现实的冰山一角,Google已经成立虚拟现实部门,真正加入VR争夺战。

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

进入 2016 年后,虚拟现实星火燎原。

短短的三年内,虚拟现实从 Kickstarter 中的一个陌生名字,变得科技圈人人皆知。但有意思的是,至今为止虚拟现实还没有任何顶级产品发布,大部分关注者也没有亲身尝试的体验。

这对于科技圈产品而言是史无前例的。

而就在不久前几天,Google 宣布成立虚拟现实部门。考虑到 Facebook、微软、三星、腾讯、HTC 等大公司早已进入,Google 正式成立部门显得姗姗来迟;但考虑到还未打开的消费者市场,又似乎群雄逐鹿正当其时。

早在 2014 年,Google 就推出了 Cardboard,一个低成本便捷的 VR 体验套装。相比 Facebook 的 Oculus,Cardboard 的价格低廉高于一切,但相应的也必须忍受体验效果并不是那么理想。Oculus 公司的创始人 Palmer Luckey 就曾被问到,Oculus Rift是否能与廉价的 Google Cardboard 项目竞争。 Luckey回答:“是的,因为Rift其实是不错的。这有点像在问高档的葡萄酒如何与浑水竞争。”

然而,这种廉价没有阻挡Google的投入。在2015年4月,Google推出了 Works with Google Cardboard 计划,该计划让第三方制造与 Google Cardboard 兼容的观看装置,就像改版后的 View-Master一样。在Google Play商店中,有针对“Cardboard”的VR部分,而且Google也在继续为这个项目做开发推广和内容合作。

这个 Cardboard 项目只是Google进军虚拟现实的冰山一角。Google似乎在慢慢整合各个部分,以完成一个全面的端到端的解决方案。它涵盖了硬件和软件,虽然我们还不能确定,这最终会是怎样的形式。但我们确定的是,Google 已经把大量资源投入到虚拟现实项目中。

这有点像手机产业,GPU、传感器、4G 网络的性能提升和成本下降,让手机能够大规模产业化,而巨头也在临界之际进入。现在,虚拟现实也很可能来到了这一步。

| Google 虚拟现实团队背景

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

负责人:Clay Bavor

Clay Bavor 毕业于普林斯顿大学,现全职负责Google VR部门。他曾负责如Gmail、Google Docs、Google Drive和其他Google商业教育app的产品管理和用户体验设计。同时还是Google Cardboard的创始人。

参与员工

据悉,参与虚拟现实的人员有很多,例如:

Google搜索的首席设计师Jon Wiley,自从1995年开始就从事软件开发,2004年到2006年负责Hoover的网页产品、信息框架的交互界面和用户体验。现在从事Google Cardboard、VR和AR UX的工作。

Google Now等前首席设计师Alex Faaborg。毕业于康奈尔大学,他曾主管过Android Wear、Google Now,Nexus 5的安卓操作系统,还对Google眼镜的交互界面有一定贡献。在Google之前,他曾是火狐的首席设计师。

| Google 虚拟现实产品线

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

Google Cardboard眼镜项目是一个以透镜、磁铁、魔鬼毡以及橡皮筋组合而成,可折叠的智能手机头戴式显示器,提供虚拟实境体验。有着3D显示软件的智能手机适合搭配此装置,透镜会让使用者分别感知左影像和右影像,以建立一个3D影像。Google在其网站上免费提供零件列表、示意图及组装说明,鼓励一般人用容易取得的零件自行组装。此硬件在Google I/O 2014(六月)时发表。

该项目旨在以“最低廉”的价格体验虚拟现实。因而,真实体验差强人意。

Cardboard 第三方计划

2015年4月,Google 推出“Works with Google Cardboard”计划,该计划让第三方制造与Google纸板(Google Cardboard)兼容的观看装置。在 Google Play商店中,有针对“Cardboard”的VR部分,而且Google也在继续为这个项目做开发推广和内容合作。

开发者工具包

Cardboard也开发了针对Android和Unity的标准开发者工具包(SDK),方便开发者利用Unity 3D或开发安卓应用来设计自己的VR工具。

Google Play 应用

Google play商店单独开辟VR分区,包含了很多应用为用户提供身临其境的体验,主要包括Cardboard相机,可以拍摄VR照片,可以使用Cardboard设备重现精彩;Youtube 360度视频内容可通过Cardboard眼镜观看;实境教学,帮助教育工作者教学过程中的实地考察;VR游戏等。

与纽约时报合作

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

《纽约时报》与Google合作展开虚拟现实项目,合作计划包括向订户发放超过100万部GoogleGoogle Cardboard虚拟现实纸板眼罩,而《纽约时报》将推出一部名为《The Displaced》(流离失所)的新虚拟现实电影,讲述因为战争而流离失所的儿童。该电影可通过虚拟现实纸板眼罩观看,该款产品需结合智能手机使用,电影将会在11月7日周末发送给《纽约时报》报纸订户。部分数字订户将可以通过电邮传送的代码来免费兑换该款眼罩。

与沃尔沃合作

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

汽车厂商沃尔沃与Google合作,通过下载沃尔沃的APP,把手机放置在简单组装的GoogleCardboard眼镜上,就可以360度体验沃尔沃的新车XC90了。不但能看清汽车内部,还能“驾驶”它上路。

Google在2015年Google's I/O大会上宣布了Google Jump新虚拟现实平台,而其第一款产品是一款与GoPro合作的360度全方位摄像机,该摄像装备可提供360度3D视频,编译后的视频具有超高分辨率。

而Jump摄像机与Youtube的合作让VR粉丝可以通过安卓版Youtube应用观看Jump拍摄的虚拟现实视频。

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

Google自己的SoC芯片也表明了Google不仅仅要进军VR领域,还要开拓VR硬件领域。为了推动VR的发展,据说Google要开发自己的系统级芯片。来自The Information的报告称,Google与元件供应商洽谈来共同开发针对虚拟现实和增强现实的芯片设计。该报道引述消息人士的话,Google一直在“寻找芯片的核心,进而确保芯片供应商可以提供足够动力。”

实际上,Google自己似乎也在支持这一报道。公司在公开放出一个名为“多媒体芯片架构师”的职业招聘,该职业将“主导芯片开发”,开发范围主要在“多媒体方面,包括图像处理,视频处理,稳定化等等”。招聘要求是“在SoC的图像/视频/播放流水线方面有相应经验”,而最终目标是把芯片“产品化”。

Tango项目是开发有电脑视觉传感器的一系列手机和平板。这让设备可以做3D室内地图,深度测量、增强现实和其他任何开发商能想出的功能。

Tango项目在2014年公布了一个开发者工具包,Google表示已经卖出超过3000个。在2014年Google I/O网络大会上,Google和LG宣布在2015年会公布一款商业产品,但是这从未发生。但在2016年CES大会上,Google和联想宣布第一款商业Tango设备会在今夏上市。

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

2014年,Magic Leap 接受 Google 高达 5.5 亿美元 B 轮投资。2015年早期,麻省理工评论将Magic Leap技术评为2015年10大技术突破之一,该公司致力于增强现实的研究,它能让你看到与真实世界无缝衔接的虚拟3D物体。Magic Leap很少谈论其技术或策略。但是麻省理工评论了解到这家公司正致力于能够处理光的硅片研究,并邀请开发商来为这个设备添加内容,现在并没有一个公开发布日期。

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

| 虚拟现实技术基础:以 HMD 为例

手机产业的兴起,背后是 GPU、传感器、4G 网络的性能提升和成本下降。而现在虚拟现实也很可能来到了这一步。我们梳理了虚拟现实背后的算法、技术和硬件设备基础,去寻找它们背后的工作方式。

头戴式显示设备(HMD)可能是与虚拟现实相关的最能被一眼认出的东西了。有时候它们也被叫做VR头盔或是VR眼镜。你可能从名字就猜到了,这些都是安置在你的头部、直接向你的双眼显示图像的显示设备。至少,如果有一个设备符合这两个条件,你就可以在广义上把它叫做HMD。

HMD并不仅仅被用于虚拟现实,它们同样还能用于军事、医疗、工程等领域。一些HMD让用户能够通过它们来观察外界,将电子信息投射到所见的真实世界中,这一般被叫做“增强现实”。

当我们回头审视虚拟现实领域中现存的各种HMD时,会很明显地发现,这些设备绝不仅仅是将两块屏幕绑在你眼前。无论是作为个人影音设备、还是全方位VR交互界面,为了获得沉浸的体验,HMD都需要整合许多技术。让我们来看看你应该有所了解的那些最重要的技术吧!

显示技术

显然,显示屏是一台HMD中最重要的组件之一,毕竟这是你在使用的时候倾注最多注意力的地方。现在的HMD设备会使用各种技术向眼球投射影像,其中最常用的显示技术是液晶显示,也就是LCD。LCD也被用于制造智能手机、电视机、以及计算机的屏幕。另一种相似的显示技术OLED(有机发光二极体)也已经被一些HMD设备采用。HMD显示屏有两个相当重要的指标:刷新率(refresh rate)和延迟(latency)。

像素和显示

由于智能手机和平板电脑掀起了某种制造在数英寸的小屏幕上显示高密度像素的“军备竞赛”,HMD也沾了光。像素是形成一张图片的小点。显示屏上每平方英尺的像素点越多,显示出的图像就越逼真。根据Apple公司创始人兼前CEO Steve Jobs的说法,一旦你每英寸的像素(ppi)达到了300,那么人类的眼睛在距离屏幕10到12英寸的位置上就分辨不出单独的像素点了。现在,高端手机的显示屏在往600 ppi的方向发展,这意味着对于普通的智能手机用途来说,多余的这些像素纯粹都浪费了。HMD设备就不同了——你的眼睛距离显示屏只有几英寸,这些额外的像素密度将带来天壤之别。

视网膜投影

另一种尚未大规模应用、但的确存在于一些头戴式设备中——比如Avegant公司的Glyph——的显示技术,叫做视网膜投影,其中用到的迷你电子投影仪会通过微型镜片将图像投影到你的视网膜上。它将你眼球的背面作为屏幕。视网膜投影的支持者认为,与采用LCD或OLED显示技术的HMD设备相比,采用视网膜投影技术的HMD在成像质量和用眼疲劳方面都有优势,只不过限于目前的技术水平,视网膜投影还不能提供其它技术能够给予的沉浸视野。

刷新率

刷新率指的是在一段时间内显示屏更新显示内容的速度。一般来说,LCD计算机屏幕可以达到每秒60次,也就是60Hz。这也意味着最大的帧速率是每秒60帧。电影一般是每秒24帧。最近一些新电影,比如霍比特人,提升到了48帧每秒(fps)。对于观众来说,这让电影看上去感觉更为流畅和真实。对于网络视频(比如YouTube上的那些)来说,60fps正在开始慢慢流行起来,特别是用GoPro之类的摄像头拍摄的动作影片。既然虚拟现实要的就是让人产生身临其境的现场感和沉浸感,那就要问问应该要达到什么样的刷新率才行了。看上去60fps是最低的门槛,90fps的表现会相当不错。一些HMD设备甚至支持120Hz的刷新率。

延迟

延迟是一个输入到一个输出之间的时间间隔。比如,如果你在虚拟世界中转头,但你看到的图像要用1到2秒才能跟上你新的头部位置,那么你会体验到严重的延迟。为了骗过你大脑中的视觉系统,虚拟现实需要非常低的延迟——通常来说,一流的体验中延迟需要达到20毫秒或是更低。不幸的是,延迟并不是一件能被简单解决的事:它不仅仅由你的显示屏决定。从位置感应器到计算机硬件都会影响图像传输到显示屏的速度,每一个部件都会添上一点延迟。因此,一个低延迟的显示屏是必须的,但只有它往往是不够的。

光学

如果你拿起手机,将LCD显示屏放到脸前,很有可能你看不到任何变化。为了创造出身处虚拟世界的沉浸感,屏幕上的平面图像需要被放大到足以充满视野。南加州大学一个研究团队做了一次实验,结果表明,任何试图达到无边界、让人沉浸的视觉效果的HMD设备,都需要保持90到100度的视场(FOV)。HMD中的镜片对此至关重要。我们的视场并不像屏幕一样是方形的,也不是平板的,所以光学上的技巧必不可缺。有许多不同的HMD光学设计,对于应该用什么镜片以及背后的原因也众说纷纭,但一致的看法是,镜片的质量非常重要。一台使用了廉价镜片的HMD设备可能在成像质量、清晰度、以及不希望发生的扭曲现象(unwanted distortion)几方面都会很糟糕。对一台已经卖出去的HMD设备,能做的效果最显著的升级通常就是更换更高级的镜片。

头部追踪

如果你能清晰地看到图片,那真是再好不过了,不过如果不知道你头部的位置的话,计算机也就无法了解你在注视着哪里。现代的HMD设备使用各种技术来准确追踪头部的位置。获益于不断发展的智能手机技术,我们现在可以在芯片上放置多维加速度计(multi-axis accelerometer),而红外跟踪摄像头则可以准确捕捉到HMD上的标记,它们会将位置信息传输给计算机。不在固定位置使用的移动HMD就无法利用到外置摄像头进行追踪了,原因非常明显,不过有一些新的技术——比如微软的Hololens和Google的Tango计划中用到的——可以通过在加速度计之外添加多种感应器来完成位置计算。

眼动追踪

目前,至少有一款HMD设备(FOVE)宣称整合了眼动追踪技术。但是也有一些第三方为其他HMD产品提供这样的升级包。

眼动追踪使得HMD可以计算你在看哪里,随后利用这个信息做一些事。比如,它可能会调整屏幕上图像的深度(depth)来更贴切地模拟自然视觉,虚拟角色将会能够对你的注视作出反应,或者你可以在虚拟世界中通过目光来快速选择菜单项。

眼动追踪可能会是一种用处极广的重要输入信息,让我们能够更自然地与界面进行交互。

眼动追踪技术才刚刚进入虚拟现实领域不久,时间会告诉我们开发者们最终用它做出了什么。

音频硬件

HMD设备的音频没有太多可说的东西,一些HMD设备会自带耳机部分,而另一些则不那么做。可以选择使用自己的耳机的HMD设备也屡见不鲜,这些设备自带的耳机是可以被移除的。

计算机硬件

HMD既是输入设备、也是输出设备,它能够追踪你的头部移动、也能够向你眼中投射图像。在这两个步骤之间就是计算硬件的领地。事实上在计算硬件方面,所有HMD都能被归入三类。第一种是完全内置计算硬件的设备,这些一般都是移动的、用电池供电的系统。通常这种硬件是拓展了用途的智能手机,甚至就是使用智能手机来完成所有需要的计算。第二种HMD设备自身不具有任何计算能力,它与外部的计算机连接。通常这种HMD设备接受HDMI输入,用USB接口传出头部追踪数据。第三种是前两种的结合,既有自己的内置硬件,也允许外部装置接入。

虽然智能手机硬件的性能已经足以提供一定程度的虚拟现实体验,但仍然远远比不上计算机和主流游戏家用机能做到的地步。所以,从视觉逼真度和帧速率的角度而言,专门的外部计算硬件仍然是最好的选择。

其他硬件

HMD的制作可以使用到各种各样的材料:硬板纸、塑料、金属、以及其他任何能把部件连在一起的东西。对于特定的一款HMD设备,考虑一下你能调整哪些地方是很重要的一件事。头部绑带的调整范围就是重点之一。如果你戴着眼镜,记得确认HMD设备是不是能够容纳眼镜、或是通过调整HMD的镜片可以让你无需再戴眼镜。最后,舒适的衬垫和人体工程学设计常常被人忽视,但却也都是重要的因素。

输入配件

之前提到过,HMD可以捕捉你的头部位置信息,但是更多样的输入形式也不可缺少——除非你愿意站在固定的一点上,既不走动也不与其他东西交互。目前,最主流的虚拟世界游览方式是通过现有的视频游戏外设。这包括了游戏用的手柄、飞行控制杆、赛车方向盘以及鼠标和键盘。已经有一些专为VR设计的、更能带来沉浸感的装置,更多的则在开发中,包括全方向跑步机(omnidirectional treadmills)和SteamVR控制器之类的设备。

在非常高端的市场上,你可以找到追踪全身运动的系统、机械力反馈装置、液压动力的操纵器等等。它们都与HMD一同协作,带来更好的交互性和沉浸感。

这一切是如何工作的?

视网膜投影之类的不怎么普遍的科技先不提,大多数使用LCD或是OLED成像的HMD设备的工作原理是,向两眼呈现相似但略有不同的图像。这带来了立体感的幻觉,也就是大多数人认为的3D图像。你可能猜到了,这需要为两眼都单独地成像,但是为了节约成本、降低复杂性,大部分HMD设备向双眼呈现的图像是一样的。

呈现的图像本身并不能填满整个视野,也并不是完美的方形。如果你不将设备戴到头上而是直接察看屏幕,你会看到两个图像都有模糊的灰色边框。

这模拟了我们的视野——位于视野中央的部分非常清晰,锐度(acuity)随着靠近边界而下降。在正确的距离从镜片中看出去,图像会很好地符合我们的视场,看上去非常自然,像是我们看的不是图片、而是真实的场景一样。

所以,当这些技术融合在了一起,你会感到身临其境。无论你往哪里看,你看到的都是虚拟的现实,它们代替了真实的世界环绕在你身边。这就是HMD是如何构成虚拟现实幻境的。

长按图片保存图片,分享给好友或朋友圈

揭秘Google虚拟现实:浑水如何与葡萄酒竞争?| 深度

扫码查看文章

正在生成分享图...

取消
相关文章