雷锋网按:本文出自国内某研究机构,雷锋网独家发布。
摘要:VR逐渐应用到影视、游戏、购物、社交等各个领域中,如同智能手机一样,VR将会对人们的生活方式产生巨大影响。但是目前可能大部分人对VR还没有很清晰的认识,因此本文从消费者角度介绍一些基本的VR体验要素,理清一些容易混淆的概念,帮助更多人去深入了解VR这个“高科技”。
关键词:VR,VR体验
一、VR概念
1.1 VR概念
VR的中文名称是虚拟现实,它利用计算机和各种传感技术,使人能够在模拟的现实环境中进行各种活动。我们体验VR的设备是VR头显,目前市面上的VR头显可为三大类:
PC/主机VR
移动VR
VR一体机
PC/主机VR需要连接PC或主机才能工作,性能比较强大,具有位置跟踪和体感交互功能。移动VR需要插入手机使用,受手机限制所以各方面性能都不及前者。而VR一体机是独立的式的VR设备,直接戴上就能开始体验。
1.2 VR新体验
VR能够提供与现实环境同样的视觉、听觉、触觉等感官体验。例如在看王菲演唱会的VR直播时,我们可以环顾周围360度的现场环境,既可以欣赏天后在台上劲歌热舞,也可以扭过头来跟着周围的粉丝一起挥手呐喊,感觉就在演唱会现场当中,也就是沉浸感十足。
VR能够提供符合人体行为习惯的交互体验。例如在游戏时我们可能会像哈利波特一样,边念咒语边挥动魔法棒来施放魔法,在观看NBA直播时可能会与其他观众击掌助兴,这一切交互行为都如同在现实生活般自然,一个手势,一个眼神,都可以成为我们的输入控制方式!
1.3 VR和3D电影的区别
VR和3D电影的立体显示原理都是基于人体左右眼的视差,但是实现方式略有不同,3D电影的常用做法是,把左右眼对应的图像加不同的偏振光,然后重叠在一起,通过屏幕播放出来,裸眼观看是模糊的,戴上对应于左右眼的偏振光眼镜之后观看,使左眼看到左眼图像,右眼看到右眼图像。而VR的做法比较简单直接,就是为左右眼提供具有视差的两组图像。虽然都是具有立体视觉效果,但是VR和3D电影最大的不同点在于VR提供的是沉浸式的体验,让人仿佛身临其境。
3D电影:左右眼图像叠加 VR:左右眼图像显示
3D电影:立体效果 VR沉浸:立体效果+全景
1.4 VR融入生活
可能有的人认为VR十分“科幻”,是很遥远的东西,不,VR已经在慢慢融入我们的日常生活了。春晚、NBA、明星(王菲)演唱会等时事热点、娱乐活动已经采用VR的方式直播,YouTube、腾讯视频、优酷等大量视频平台已经在提供VR全景视频,还有VR游戏、淘宝BUY+ VR购物,以及说走就走的VR旅游(谷歌地球)。其实我们生活的各个方面都有看到VR的影子。
二、VR体验及其相关要素
体验过VR的人应该知道,虽然VR很有吸引力,但是目前的VR体验还不够满足我们的要求。首先是视觉上看起来不够清晰,然后是容易造成眩晕恶心。下面我们介绍VR体验及其相关要素。
2.1画面体验要素
2.1.1清晰度
通常,视频分辨率是我们衡量视频清晰度的一个指标。以视频分辨率为例,首先我们给出大家所熟悉的普通视频分辨率,如下表:
但是,两个相同分辨率普通视频和VR全景视频,他们的观看效果是不一样的。假设在显示器支持的条件下,普通的4K视频片源,在显示器中显示的画面就是4K的。而在4K全景视频会先把画面还原到一个空间球面上,人在空间球里面往外看,只能看到视场角范围内的部分球面,所以显示器只能显示4K全景视频画面的一部分。例如王菲演唱会的VR直播是4K的,但是观看起来清晰度要比4K低许多,因此不少人抱怨没有看清天后的面容。
另外清晰度也和显示器有关。一方面,高清晰度的视频需要高分辨率的显示器来支持,显示器分辨率越高,对于观看的清晰度越好。另一方面,人和显示器的距离也会影响到观看是否清晰。例如普通的2K电视,我们的观看距离大概是2-3米甚至更远,这时会觉得挺清晰的,但是如果我们靠近到半米内观看,就会觉得不清晰。在VR中,屏幕距离人眼大概5-10cm,经过透镜光学放大后,大概会在前方25-50cm处成像,想象下在半米内看2K电视会看到什么,可能是颗粒和锯齿!
从生理角度看,这其实与人眼视觉有关。人眼在一度的视角内所能看到的像素数称为PPD(Pixels Per Degree),一般而言PPD越大,观看清晰度越高,当PPD达到60(人眼视网膜极限)时观看清晰度最高。以4K(3840*1920)的VR全景视频为例,其水平方向PPD约为11(3840/360=10.67),远低于60,而观看普通标清视频的PPD约为11,所以从PPD的角度看,目前的4K VR全景视频和标清的普通视频观看起来清晰度是差不多的。
不过不用担心,VR全景视频的体验很快会得到大幅提升,因为在VR全景视频制作中,专业级的全景摄像机已经可以生成8K的全景视频源,而显示屏也将在2017年升级为4K。
那为什么8K全景视频需要4K显示屏呢?我们知道8K电视观看8K视频是比较理想的,但在VR全景视频中不是。8K全景视频的水平PPD约为22(7680/360=21.33),我们以最基础的90度FoV要求来估算,则单眼水平像素数为21.33*90=1920,即屏幕分辨率需要达到单眼1920*1920,双眼3840*1920,也就是需要4K屏了。用同样的方法可以得到4K全景视频需要2K分辨率的显示屏。如果以Vive和Rift的110度FoV计算,结果会略有偏差,但总的来说,双眼2K的头显适合看4K VR全景视频,双眼4K的头显适合看8K VR全景视频。
2.1.2眩晕感
在体验VR时,画面经常是变化的,而人通常是静止的,这时候容易感到眩晕,和晕车晕船的情况差不多。这种情况下,变化的画面通过人体的视觉系统传到大脑,大脑认为画面变化是由于身体发生了某些运动引起的,而控制着身体平衡与协调的耳前庭器官并没有向大脑反馈身体的运动信息,因此大脑感受到视觉信息和运动的不协调,就可能会导致眩晕、恶心或者呕吐等反应,俗称晕动症。晕动症也和个体的体质有关,正如有的人容易晕车而有的人天生就不晕。
天生晕VR的人通过后天的锻炼可以克服VR晕动症,同时设备商也会从设备角度帮助我们减少晕动症的影响。经过研究,引起VR眩晕的一个主要原因是MTP(Motion To Photons)时延,MTP时延是指从头动到显示出相应画面的时间。MTP时延太大容易引起眩晕,目前公认的是MTP时延低于20ms就能大幅减少晕动症的发生。为降低MTP时延,一方面需要提升GPU的渲染性能,另一方面需要将显示屏的刷新率提高到75HZ以上,目前Vive和Rift都达到了90HZ的屏幕刷新率。所以不用太担心眩晕的问题。
2.1.3流畅性
提高刷新率的另一个好处是使画面更加流畅。一讲到刷新率,大家自然会联想到帧率。刷新率和帧率是不同的概念,但它们影响了VR体验的流畅性。
普通电影一般是24FPS的帧率,看起来是足够流畅,而李安的《中场战事》有120FPS,更加流畅,据说全球只有5家电影院能播放!这是因为高帧率的视频需要高刷新率的显示器来匹配,例如用60HZ的显示器来播放120FPS的视频,那么显示器会每隔一帧显示一个画面,人看到的还是60FPS的效果,因此刷新率是画面变化速度的上限。反过来用60HZ的显示器来播放30FPS的视频,那么显示器会把每一帧画面显示两次,人在这一秒看到的是30帧画面,所以在显示器支持的情况下,帧率代表了画面实际的流畅性。
电影利用了人眼视觉暂留特性形成流畅的画面,一系列静态画面以每秒 24帧播放,就能骗过大脑产生动态的感觉。但是在一些大型游戏中,24FPS还不够,例如CS、LOL游戏可能需要60FPS或以上才感觉流畅。拍摄电影所用的胶片或者数码感光元件也像人眼一样具有视觉残留,以24FPS为例,每帧电影画面记录的是1/24秒内所有物体的运动轨迹影像,于是人眼观看起来感觉很流畅很舒服。而游戏的画面是GPU渲染出来的,每帧游戏画面对应的是一个瞬间的影像,即使是运动很快的物体也会渲染得很清晰,不符合人眼的观看习惯,于是感觉很矛盾、不流畅。
这种情况在VR中会更突出,而不流畅的画面也可能会引起眩晕,所以VR需要高刷新率的显示器,同时还要高性能的GPU来保证稳定的、比较高的帧率。
2.2交互体验要素
为什么大家都觉得廉价的VR盒子体验不好呢?很大的一个原因是因为它的交互很少,交互可以简单地理解为我们向VR系统的输入和VR系统向我们的反馈。好的交互能带来更强的沉浸感,试想在PSVR中玩《生化危机7》的时候,用自己的手来拿武器攻击丧尸比用手柄来控制,是不是更带感?交互包括了位置追踪、输入控制和反馈等方面。
2.2.1追踪系统
如果人在VR中发生了移动、转动,而画面没有得到相应的变化,那么就会感到不自然,所以需要进行追踪。我们移动的方向有三组,前后左右上下,头部的转动方向也是有三组,左看右看,上看下看,还有左右歪着头看,所以一共是有6个自由度的运动,称为6DoF(Degree of Freedom)。普通的VR盒子只能追踪头部的转动,只有3DoF。当然更自然的、更好的是6DoF的追踪。
随着2017年1月份的CES展会,inside-out的追踪基本成为VR盒子、VR一体机的标配。对应的还有outside-in追踪,Vive/Rift/PSVR的追踪系统就属于outside-in。所谓的outside-in 是需要在头显的外部空间放置一些追踪设备,例如Vive的两个lighthouse基站。而inside-out就是在头显内部集成了追踪系统,不需要再安装其他设备了。它们是两种不同的追踪方式,各有优劣。
2.2.2输入控制和反馈
好的VR体验,还需要有好的输入控制和反馈系统。例如手势识别可以让我们更自然的控制虚拟化身的手,表情识别可以极大地方便我们在VR中分享心情。另外,人的视觉、听觉、触觉、嗅觉、味觉可以直接关系到VR的沉浸感。立体视觉和立体音效已经可以实现,触觉、嗅觉和味觉的反馈技术也在加快发展。在VR中,“这是一个有味道的视频”就不再是调侃了。
三、良好VR体验的网络需求
有了好的VR设备,我们还需要好的网络来支撑VR应用的体验。例如我们通过VR看全景视频时,如果网络带宽不够,就会发生卡顿,卡顿情况严重的可能会导致身体不适。还有在玩VR在线游戏时,如果网络时延较大,轻则输掉游戏,重则引发头晕恶心。因此VR体验的好坏还受到网络的影响。接下来为普通家庭介绍良好VR体验具体需要的网络。
3.1 良好VR体验的网络需求
如果是主要是看VR视频,那么需要比较大的带宽,根据iLab发布的《面向VR业务的承载网络需求白皮书》,看4K全景视频大概需要25Mbps的带宽,看8K全景视频大概需要100Mbps的带宽。具体计算公式为:每帧像素数(7680*3840)*色深(8bit)*每秒的帧数(30fps)*YUV420采样率(3/2)*H264的压缩比(1/165)*经验值(1.5)。
为了提高我们的观看体验,2017年VR全景视频会逐步提升至8K,所以建议按照8K全景视频的带宽需求来计算。另外需要考虑一个家庭的VR终端数,中国家庭户均人数约为3人,那么普通家庭可能会拥有1-3个VR终端,所以建议100-300Mbps的带宽套餐。
如果主要是玩VR游戏,对带宽的需求没有看VR全景视频那么高,但是对网络时延的要求却比较高。玩VR在线游戏时,网络主要是负责传输一些控制数据,为了减少晕动症的发生,需要保证网络时延+设备处理时延小于20ms。设备处理时延包含屏幕的刷新周期11.1ms、传感器采样时间1ms、显卡渲染时间(大概几毫秒),所以留给网络传输的时间不多了,建议使用光纤套餐。
综合考虑,目前可以推荐100-300Mbps的家庭光纤带宽。
3.2 VR对网络需求仍在提高
第一,目前的VR还处于发展早期阶段或入门体验阶段,未来1-2年会有较大体验提升,包括分辨率更高、帧率更高、视场角更大、基本不会眩晕等。第二,社交元素在不断地融入到VR应用当中,通过VR聊天,玩多人在线的VR游戏等等。所以未来几年良好VR体验将会需要更高的家庭带宽和更低时延的网络。