雷锋网按:本文来自来自华为iLab,雷锋网已获授权。
2016年12月30日,王菲“幻乐一场”演唱会在上海举办。数字王国、腾讯视频和微鲸VR联手打造VR直播,为场外粉丝提供“身临其境”的观看体验。30元的入场券,阻挡不住粉丝的热情,微鲸VR有9万+用户观看;腾讯直播平台累计有2000+万用户观看,VR直播预约用户超200万。
华为iLab从用户体验角度、网络影响角度为您解析VR直播细节,主要发现有以下几点:
1. VR直播成为新常态:王菲演唱会是VR直播产业的又一里程碑事件,备受瞩目的2017年春晚也将进行VR直播。在体育赛事、热点新闻事件、演唱会、发布会等领域,VR直播广泛应用,网红也纷纷尝试VR直播。目前国内已经有20余家VR直播平台,传统的OTT直播平台(200多家)也逐渐支持VR直播功能。
2. VR直播体验独特,但视频质量待提升。
此次演唱会提供三自由度(3DoF)体验,临场感很强,观看体验很棒,感觉王菲就在眼前,现场的灯光、舞美是OTT直播所无法感受的;以往直播,好的机位都给了OTT直播,但此次VR直播,有一个好的机位,并且提供了一个大屏,进行细节展示。
此次演唱会推送4K(3840*1920) VR全景视频,相当于240P电视的观看效果;同步推送的OTT视频直播提供1080P(1920*1080)的画质,达到全高清电视的观看效果。
此次演唱会,4K VR全景视频带宽需求12Mbps,是OTT视频直播(1080P)带宽需求的两倍;未来升级到8K VR全景视频,带宽还需要增加4~6倍。
VR直播视频预期在2017年可提升至8K。
内容制作:专业级360摄像机已支持8K/60fps全景视频的采集。
内容分发:CDN技术已经很成熟,100Mbps宽带接入也逐步普及。
终端:预计2017年,旗舰手机屏幕分辨率将提升至4K。
3. VR直播体验提升对网络带来新挑战
自由度体验提升:当前VR直播只支持三自由度VR视频,如同用户坐在直播现场固定座位上,只能看到周边的景象;未来可借助光场相机、空间定位等技术,提供更高逼真度和沉浸感的六自由度(6DoF)VR视频,如同用户可以在直播现场随意走动,感受不同的景象,此时,网络需要提供更低的时延。
社交融合:手势、表情、动作识别等技术的成熟商用将推动VR直播与社交的融合,使带宽需求随用户数量的增长而呈现非线性增长关系。
VR直播是借助VR技术使观众如同身临其境去经历或体验事件的一种直播方式,可分为PGC和UGC两类。
VR直播通过360全景画面、空间音效等让观众仿佛置身现场之中,通过手势、表情、动作等识别技术让多个观众一起互动一起嗨,利用力反馈技术甚至还可以与自己的偶像握手,带来沉浸式观看体验。
VR直播方案主要分为三个部分:内容生产、内容分发和内容消费。
音视频采集:利用360全景摄像机拍摄全方位的视觉信息,目前的专业360摄像机能以8K分辨率、60fps以上帧率进行直播。
拼接技术:将360摄像机各个方位采集到的图像拼接成空间球。
投影映射:将空间球转化成平面媒体格式,常用的投影方式有等角投影(圆柱形投影)、多面体投影等。
编码技术:目前主流是H.264,业界公认的下一代编码技术是H.265、VP9。
网络传输:一般采用CDN。
观看设备:VR头显,2016年的旗舰VR头显达到2K分辨率和90fps的刷新率。
1、总体体验
直播观看体验很棒,感觉王菲就在眼前,现场氛围也很足,并且可以通过弹幕互动。直播比较流畅,无明显卡顿,但是画面不够清晰。
拍摄端使用数字王国的Kronos和Zeus 360摄像机,Zeus最高分辨率为8K,帧率为75fps。而主流旗舰VR头显(包括旗舰手机)的分辨率为2K,适合观看4K VR视频。
2、用户观看行为及其对流量的影响
头部转动:能观看不同方向的内容。不改变网络流量速率,因为此次VR直播采用全视角传输方案,将360度环绕的画面都传输给VR终端,由终端计算和处理FOV内的画面。
走动:画面不会发生变化,对流量无影响。目前的VR直播仅支持三自由度(3DoF),如同用户坐在直播现场的固定座位上观看周边的景象。
*互动:用户观看的同时可以发送弹幕与他人互动,或者赠送与接收礼物。流量消耗较少。
*为了让观众可以从多个位置观看,数字王国在台上和台下各布置2组共4个摄像机位,通过切换摄像机信号来为观众提供不同的观看点。
3、与OTT直播的对比
流量特征:4K VR全景视频,流量相对OTT直播的1080P,流量增长1倍。
实时性对比:在测试中发现,此次VR直播相对OTT直播的实时性更高 (同理论分析存在差异,待进一步考证)
带宽需求对比——
4K VR直播全画面分辨率是3840*1920,等效于传统TV屏的240P分辨率,典型码率为7.8M,带宽需求是12Mbps。
OTT直播分辨率是1920*1024,典型码率为3.4M,带宽需求是6Mbps。
现在还是入门级的,将来极致体验至少需要1Gbps带宽,更需要网络升级。
IT巨头和运营商布局CDN,节点数量不断增加,为良好的VR体验提供了传送平台。
备注:以上数据来自各公司网站,暂未获取到中国移动相关数据
1、VR直播前景广阔
根据高盛2016发布的VR/AR产业报告,2025年VR直播市场空间达到41亿美元,VR直播用户群达9500万。
根据CNNIC 2016年7月发布的《第38次中国互联网发展状况统计报告》,中国已有200多家直播平台,直播用户数达3.25亿,占总体网民的45.8%。
VR直播初创公司涌现,大量影视巨头纷纷转型进军VR直播。
消费级360摄像机(Insta360、三星Gear 360、理光THETA、保千里打令VR手机等)不断出现,个人直播平台(花椒、小熊、3D播播、一直播等)也开始支持VR直播,VR直播将会向UGC渗透,VR直播的内容将更加丰富和多元化。
2、VR直播的发展趋势
空间音频:能大大增强音乐类场景VR直播的临场感。
交互方式:加入和建立合适的直播互动方式,依靠手势识别、表情识别、动作捕捉、三维人体建模等技术,引入社交元素将加速VR直播的发展。
趣味AI:随着AI的发展,越来越多的AI“明星”进入人们生活,如苹果的Siri和微软的小冰,将来AI与VR结合,直播的主角可能会变为虚拟偶像,如日本的miku。
华为iLab一直致力于VR的相关研究,也期望和产业链伙伴一起建设良好的VR生态环境,共同推动VR体验评价标准的成熟,促进VR产业的发展,共建美好的全联接世界。