指尖上的 VR！新型手环精准识别手指动作，隔空也能打字弹琴

当地时间 2021 年 3 月 27 日-4 月 2 日，一年一度的 IEEE VR 会议将于线上举行。

作为展示虚拟、增强和混合现实（VR/AR/XR）领域最新研究成果的重要国际性会议， IEEE VR 2021 自然也将涌现出不少创意。

比如瑞士苏黎世联邦理工学院计算机科学系就研制出了一种手环。

戴上这种手环，我们就可以悬空弹钢琴。

左右手比划一下，图片的位置和尺寸即可得到调整。

“虚拟键盘”也出现了。

相关研究成果已于预印本的形式公开，将在 IEEE VR 2021 上发表，题为 TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing（TapID：虚拟现实中使用可穿戴传感的快速触摸交互）。

快速触摸交互内置 2 个惯性传感器

众所周知，随着硬件和算力的提升，VR 产生了更为逼真、有吸引力的场景。

VR 正变得越来越流行，传统产品是通过控制器或摄像头跟踪四肢进行互动。然而在研究团队看来，空中交互是阻碍 VR 场景生产力的关键因素，因为 VR 场景需要长时间的持续交互，而传统方式则无法满足这一要求。

实际上，VR 系统中触控交互的一个核心挑战就在于对触控事件的精确检测。

头戴式系统可以对手进行跟踪，这种单一的优势会导致深度感知的不准确性，从而使得触摸/非触摸识别和接触定位具有挑战性。

此前研究人员们已经提出了多种方法，通过集成可靠的触摸检测和抑制滤波器，尝试用深度摄像机进行精确检测。当然，不论是滤波器还是相机帧率，都会限制系统实现精确检测的交互速度。

于是，为了更好地满足交互需求、保证用户可以得到片刻的休息，研究团队设计了一种快速触摸交互，即一种名叫 TapID 的手环——其实，最新的 MR 系统已经结合了用于输入检测的手势识别，AR 设备（如微软 Hololens 2）和 VR 设备（Oculus Quest 2）亦然。

据了解，每只 TapID 都外表小巧，两侧嵌有 2 个惯性传感器。

论文将 TapID 手环称为是“基于手腕的惯性传感系统”。通过惯性传感器，TapID 提供了粒度和对细微运动的检测。它不仅可以检测到某个表面（比如桌面）上的触摸事件，还可以额外识别手指，二者结合即在 VR 中触发输入事件。因此，平板和手机上的应用程序、交互模式可以无缝、可靠地转移到 VR 场景。也就是说，用户使用 VR 设备就像是在常见的生产力工具手机和平板电脑上操作一样。

用户使用 TapID 时需每个手腕各戴一个，这样 TapID 就能检测到用户的手指轻叩动作。其背后原理在于一种机器学习算法，该算法可以分析人体骨骼系统的独特振动——这在 VR 环境中颇为有效。

具体来讲，通过检测手势可以确定出是哪只手指在敲击“键盘”，并不需要精确的位置信息。用户可以像在现实世界中一样在键盘上打字，或在表面上与虚拟对象交互。

TapID 实现精确检测

为检测 TapID 性能，研究团队设计了一系列测试。

团队招募了 18 名参与者（其中 14 名男性、4 名女性；年龄跨度在 19-57 岁，平均 28.4 岁），平均手腕周长为 168 mm（最小 146mm，最大 185mm）。

在每轮测试中，参与者戴上 TaplD，按照指示重复用每根手指展示敲击的动作（敲 30 下），在短暂休息后，继续这样重复两回。每个参与者都在 20 分钟内完成了测试。

团队测得：

• TapID 的事件检测精度 F1 = 0.997；

• 手指识别精度（单个用户 F1 = 0.93；多用户改进后 F1 = 0.91；多用户改进前 F1 = 0.87）。
  

论文显示，TapID 的检测准确度明显超过了不少头显传感器和摄像头系统等。

最后，研究团队总结了 TapID 的一系列用途，包括 UI 控制、敲键盘、钢琴演奏、在桌面上做手势等等。

讲到悬空打字，也许有人会觉得不靠谱，正如开源社区 Hackaday 所说：

在一个虚拟环境中用虚拟键盘打字，我们并不敢保证效果如何，毕竟真正的键盘更容易触摸到，当然可能也更便宜。

不过 Hackaday 也表示，设计一个能够准确判断用户手指姿态、实现实时互动的设备，为 VR 领域的应用提供了新思路。也就是说，不论研究团队演示的悬空打字例子是否具有现实可行性，这项技术确实有效。

或许，未来我们可以顺着这种研究思路，提升与智能手表的互动方式。

引用来源：

https://siplab.org/papers/vr2021-TapID.pdf

https://hackaday.com/2021/03/16/bone-vibration-brings-typing-into-vr/

https://techxplore.com/news/2021-03-virtual-reality-fingertips.html

雷锋网雷锋网雷锋网