VR时代，笔式交互能否“上位”？

从键盘、鼠标，到触摸板、触摸屏，人机交互的范式不断发生变化。虚拟现实（VR）的出现实现了由二维界面到空间界面的变迁。它在给用户提供全新的沉浸式体验的同时，也带来了新的问题：究竟哪种交互范式更适合VR环境？

国际计算机协会（ACM） CHI大会是人机交互领域的顶级国际学术会议。中国科学院软件研究所（以下简称中科院软件所）一项关于笔形态控制器的研究成果近日被ACM CHI 2020接收，并获得今年ACM CHI的最佳论文提名奖。

VR交互缺乏成熟的范式

目前，VR交互的主要输入方式包括了语音、手势、手持控制器，还有眼动、脑电等。

“但VR目前存在的问题是，它的交互并没有一个成熟的范式。” 该论文通讯作者、中科院软件所人机交互技术与智能信息处理实验室田丰团队成员韩腾说。

传统计算机时代，人机交互紧紧围绕在键盘和鼠标周围，它们是唯一的输入通道。在过去十几年间，智能手机和平板电脑又带来了一个新的交互范式——触摸。

因为人们每天都频繁使用着，所以觉得稀松平常。可实际上，正是“触摸”的出现，直接造就了个人计算机和智能手机时代的辉煌。可见，一种成熟的交互范式具有划时代意义。

尽管目前VR设备的视觉质量和沉浸效果已经达到一个比较稳定的状态，可以呈现令人印象深刻的图形，但相应的输入技术仍在不断探索中。

韩腾表示，目前应用程序开发人员比较依赖手持控制器作为消费级VR产品的主要输入手段。从VR头戴式显示器HTC Vive和Oculus Rift等设备上大量的多按钮和多功能控制器就可以明显看出这点。

“大多数VR手持控制器有一个特点，用户抓取它们的方式主要是利用手腕旋转。基于手腕的动作是足够有效的，然而，这种握持方式通常需要所有的手指保持力量来握持设备，这不可避免地限制了用户手指在不受约束时可以实现的动作和输入范围。” 研究团队在论文中指出。

“再如，比较热门的数据手套，它虽然可以实现手的自然使用，拥有手部动作跟踪、手势识别和触觉反馈等功能，但缺点是，这类手套通常很笨重、穿戴不方便。这些因素在用户体验中起到不可忽视的负面作用。” 论文提到，它和手持控制器都面临着小型化、轻量化的挑战。

随着VR技术在数据分析、艺术创作、医疗培训等领域的广泛应用，既要满足用户对输入精度的要求，又要轻巧方便，未来的VR交互模式是否还有更好的选择？

握笔姿态与交互效率

如果人们留意吃饭时我们如何使用筷子，就会发现，这一过程中手指完成了一系列极为精细的动作。有意思的是，研究团队受手指运动的启发，联想到，和筷子外形类似的笔作为常用的书写工具，既需要运动手腕，也需要灵活的手指。

“将来人类面对空间交互，势必要进行一些十分精准的或精细的目标选择和操作，使用笔或许是更好的交互方式。”韩腾说。

中科院软件所人机交互技术与智能信息处理实验室在研究员戴国忠、田丰的带领下，在笔式交互领域耕耘了几十年。随着VR、增强现实（AR）空间定位和传感器等技术的成熟，笔式交互已经不再局限于二维界面。

事实上，在VR中使用笔形态控制器的概念并不是全新的。2019年，罗技发布了一款名为“Logitech VR Ink Pilot Edition”的VR笔。这是世界上首款在三维空间中利用二维表面和空中画面的VR笔，旨在帮助专业人士在VR中更容易地完成设计。

“但是，至今还没有研究去挖掘笔在指向和选择等基本的VR交互任务中到底表现如何，特别是和其他手持控制器相比有什么优势。” 韩腾解释，这是团队进行该研究的初衷。

研究人员首先在实验中创造性地研究了不同的握笔姿势对手腕和手指运动的影响，比如运动范围和舒适度。不同的握持姿势不仅会对手指的伸展，而且会对手腕增加各种约束。

研究结果发现，在5种常见的握笔姿势中，笔杆末端握法最有助于手指的整体运动，并且可以促进基于笔的VR界面的更大范围输入。

笔输入可以在VR中进行精确的绘图和书写，但其在常规界面任务中的性能还有待评估。于是，在接下来的实验中，研究人员想知道笔杆末端握法在VR目标选择任务中的效率如何，包括近距离点选操作与远距离的射线选择。为此，研究人员把它与典型的手柄握姿进行了对比。

为了指导研究设计，他们分析了商用VR设备中用于菜单和对象选择任务的现有界面隐喻和手势，从而确定了两个典型手势：戳和抖动。

结果表明，笔杆末端握法不仅能有效缩短手势的目标选择时间，并且戳的手势还不易出错。唯一的不足是，长时间使用这一动作容易带来疲劳。

受此启发，团队还研究了如何将两种姿态结合起来，从而在使用笔输入时带来更好的用户体验。要做到这一点，关键是在不同的抓握姿势之间进行转换。这就提供了新的交互机会，比如输入模式的切换。

除此之外，研究还通过展示笔势操作、手眼一致性等应用场景，探讨了在VR下基于笔输入的交互设计以及潜在的交互可能。

论文匿名评审专家指出，这是一篇比较经典的CHI论文，实验设计清晰合理。“它研究了一种潜在的方法提高VR环境中空间交互的灵活性，而在此之前研究界尚未对这种交互方法进行过系统研究。”评审专家认为，该研究有望为进一步研究和设计VR笔提供基础。

笔式交互的漫漫征途

该研究中，研究人员制作了一支3D打印笔，它的外形与普通笔类似。不过，韩腾表示，VR笔形态控制器还鲜有商用产品，因为现阶段它的缺点和优点一样明显。

“手持控制器可以通过按键实现多种交互功能，目前VR笔形态控制器能做到的要远远少于前者。未来，如何在设置较少按键的情况下，通过交互设计来完成大部分VR的交互任务，弥补笔形态控制器本身缺乏功能按键的短板，是研究团队进一步关注的问题。”

他还提到，触觉反馈是近年来人机交互领域研究的大热点。如何让用户使用VR笔在完成目标任务后获得物理反馈，也是未来提高用户体验的重要环节。此外，既要实现功能的多样性，又要充分体现笔形态的优势，这一技术同样面临小型化的挑战。

一直以来，笔式交互都不是主流。乔布斯曾说过“最好的手写笔是手指”，触控设备多一个手写笔，反而会给用户带来额外的“麻烦”。

戴国忠曾多次提到，由于这个原因，平板常常被定位为放大版的手机，这一度让它失去更大的发展空间。直到平板朝着移动化办公定位，致力于完成各种专业的精细的任务，而不再仅是进行社交、游戏等活动，触控笔的重要性由此凸显。

2015年，苹果为iPad Pro配备了第一代触控笔Apple Pencil。今年，美国专利商标局发布了一项与Apple Pencil相关的苹果新专利。Apple Pencil可以不依赖特定的表面进行输入，同时还可用于VR创作。

互联网巨头越来越意识到笔式交互的重要。田丰团队也认为，在可以预见的未来，笔在空间交互中会得到更为普遍的认可。

从原始鼠标、机械鼠标、光电鼠标再到如今的触控反馈，这一经典的输入通道也经历了一代又一代的更替才修成正果。笔式交互要想赢得一个全新的时代，漫漫征途才刚刚开始。

来源：中国科学报 作者：胡珉琦