目前 PC 级别的虚拟现实设备最典型的要属 HTC Vive 和 Oculus Rift 两款,它们都能提供「身临其境」的沉浸式体验,但从中我们也看到线缆繁多的短板,在空间上造成了极大的束缚。因此,无线成为了众多 VR 厂商寻求的突破口,但正式商用前还需要解决无线覆盖范围、数据传输延迟和图像呈现品质方面的难题,而本文要介绍的 Immersive Robotics 公司(下文简称 IMR)在这方面找到了新的突破。
Immersive Robotics 是一家总部位于澳大利亚的初创企业,他们承诺为 PC 级 VR 设备带来真正意义上的通用无线解决方案,在尽量不牺牲图像品质和保证极低延迟的前提下,提供无线缆的虚拟现实体验。
新技术在走向商用的道路上,最令人着迷之处在于它往往能够带动相关产业的发展。正是智能手机的快速更迭加速了移动行业的前进,也正是高分辨率显示屏和低成本 IMU 元件的组合,才造就了现在蓬勃的 VR 市场。更是因为消费级 VR 市场不断成熟,对于更时髦、无线缆束缚解决方案的需求,才驱动无线视频系统不断创新和快速发展。
在众多企业推进无线 VR 研究的过程中,无线视频广播系统正在缓慢蜕变,并逐渐显现出庞大的影响力。为此诸多厂商纷纷布局,例如雷锋网报道过的TPCast,为 Vive 头显带来了附加无线解决方案;Valve 公司宣布「重金」投资 Nitero,这是一家在该领域与 Quark VR 和 Serious Simulations 齐名的团队。当你站在终点处观察,你就会发现真正推动前沿技术商用和普及的,其实寥寥无几。
专为 PC 级 VR 头显设计,IMR 公司成功研发了 VR 直播流和内联压缩系统,声称兼容现有的 WiFi 传输标准的基础上尽可能不牺牲图像质量,并将延迟控制在 2-3ms 范围内。IMR 的多名联合创始人亲切地称该系统为「Mach-2K」,他们早在 2015 年时候就已经着手研究无线技术,也正是在早期 OSVR 设备上成功运行概念系统而赢得政府的认同,并获得了资金支持。
那么这项牛逼的无线 VR 系统又是谁打造的呢?IMR 公司的联合创始人共有两位,分别为 Tim Lucas 和 Daniel Fitzgerald 教授。首先我们来介绍下 Lucas,他在无人驾驶汽车设计上浸淫多年,设计出了多个「优异」的无人机,更是利用 VR 和 LiDAR(激光雷达)的图像测量算法,创建了「首个空中 3D 扫描环境的虚拟现实模拟」系统。
Tim Lucas
而另外一位联合创始人 Fitzgerald 拥有航天航空电子工程方面的博士学位,主攻方向是新兴的无人机领。他已经为无人机创建了自动驾驶软件,而这项工作能通过不断的实践来优化并推进算法软件的发展。
Daniel Fitzgerald 教授
伴随着虚拟现实产业的迅猛增长,围绕着专有软件算法两人设计了一套系统,能够为 VR 头显设备无线传输图像。Lucas 透露:「事实上在 VR 行业发展初期,我和商业合作伙伴 Daniel Fitzgerald 教授就定下目标,着手解决 HMD(头戴式显示器)的无线问题。我们原本的专业领域是生产高端无人机,但我们很早就意识这会是 VR 领域的不错切入点。」
在消费级、客厅娱乐的 VR 设备不断涌现的大背景下,团队迅速意识到应该抓住这些机遇。「当消费级 VR 设备不断普及后,我们意识到从逻辑上来说用户肯定希望摆脱线缆的束缚,而且这种需求会变得越来越强烈。」Lucas 说道:「因此,我们从头设计了视频压缩算法,能够将视频数据压缩到当前无线传输技术能够接受的范围,与此同时我们努力消除了当前压缩技术存在的缺陷,例如高延迟等等。」
「最为重要的是,压缩和解压缩算法分别在不同的独立主板上运行,而这些主板可嵌入到 HTC Vive 组件上,在图像压缩 95% 的基础上将延迟控制 1ms 以内。在用户沉浸式体验方面,这和线缆连接方式几乎没有差别。」
在强悍的无线性能表现的同时,这款名为 Mach-2K 的系统尺寸上也得到了很好的控制,小到用户别在腰上随身携带。这款设备内置电池模块,可通过 USB、音频端口和 HDMI 进行连接。以 HTC Vive 为例,传输设备和 PC 端进行连接后,可以向其发射分辨率为 2160*1200 帧率为 90Hz 的图像。IMR 同时还研发了手工版算法,在图像上实现最高 95% 的压缩比情况下,Motion-to-Photon 延迟控制在 2-3ms 范围内。
而这并非这套系统的全部实力,将负责压缩的模块分别安装在两个头显设备上,而源设备则负责为这两款设备解压缩和定向传输,在最初的设想中为下一代高规格 VR 设备做准备,单眼分辨率能够达到 4K,帧率能达到 120Hz。「目前,我们已经在 HTC Vive 上实现数据的缩放。」Lucas 说道:「我们坚信单眼 4K 即将会成为标准配置。」因此伴随着 VR 设备的演变进化,IMR 的技术拥有广阔的提升空间。
Mach-2K 规格:
●当前分辨率完全支持 2160*1200
●当前帧率完全支持 90Hz
●计划单眼将支持 4K 分辨率
●计划将帧率提升到 120Hz
●主 CPU:FPGA
●I/O:HDMI、USB 2.0.12V 输出
●眼球追踪输入
●供电:5V 直流
●电流频率:802.11ac WiFi 5Ghz
●未来支持的频率:最高至 60Ghz WiGig
●板载软件:B.A.I.T「Biologically Augmented Image Transmission」算法
●OEM 和 SDK 选项:允许第三方为算法创建应用定制的模块
●用户可选的压缩方案
你是否对这些数据也有怀疑?IMR 提供了经过 Mach-2k 系统压缩前后的部分样张。在这些图片中我们也能看到 IMR 的压缩技术也在不断提升,从左至右分别为原图、第二代压缩算法,目前已经进化到第三代,可以看到两者之间的差距变得越来越小。
损耗数据压缩(并非负项,仅表明数据丢失情况)主要通过抛弃用于描述场景的数据来压缩容量。由于仍然需要在每个帧中使用较少数据来描述相同的图像,因此必要将做出某些妥协。已压缩场景的指示标志是色彩逼真度的损失,最离谱的可能会看到带状的颜色过渡梯度。你可以在 IMR 的第二代压缩算法中看到这种梯度,不过目前最新算法已经得到了明显改善。
假设这种级别的图像质量能够配合 90Hz 的实时帧率,我相信很多用户无法区分有线和无线版本的区别,除了在极个别比较有挑战性的 VR 场景中。
最后,IMR 认为他们的技术能够为所有 VR 设备提供通用无线解决方案。「我们的算法就是致力于为无线设备提供服务。」Lucas 表示:「我们已经向一些全球领先的 WiFi 和 VR 专家进行展示,达成的共识是我们的算法是目前最低的。而且灵活的可扩展性能将会为我们带来各种可能。」
via roadtovr