A Systematic Review of Virtual Reality Interfaces for Controlling and Interacting with Robots

0. 摘要

虚拟现实（VR）与机器人技术领域之间存在着巨大的协同作用。但是，仅在过去的五年中，开发人员才可以使用商用沉浸式VR设备。这种新的可用性已导致在机器人技术领域使用VR设备的研究迅速增加，特别是在开发用于操作机器人的VR接口方面。在本文中，我们对利用商用沉浸式VR设备进行的机器人操作VR接口进行了系统的综述。根据“系统评价和荟萃分析的首选报告项目”（PRISMA）指南，总共收集了41篇2016-2020年发表的论文进行审查。论文被讨论并分为五类：（1）可视化，重点是向操作员显示数据或信息；（2）机器人控制与计划，着重于将人类的输入或运动与机器人的运动联系起来；（3）互动，重点是开发新的互动技术和/或确定最佳的互动做法；（4）可用性，侧重于VR接口的用户体验；（5）基础架构，其重点是系统架构或软件以支持将VR和机器人连接起来以进行界面开发。此外，我们提供了未来的方向，以继续开发用于操作机器人的VR接口。

1. 介绍

尽管虚拟现实（VR）的概念自1960年代就已经出现[1]，但它在机器人技术领域的使用仅在机器人辅助手术[2-4]和机器人辅助康复[5-7]中得到广泛采用。但是，VR和机器人技术之间存在着很多协同作用[8]。机器人可以在VR中使用，以通过向用户提供触觉反馈[9,10]或提供用于用户交互的项目[11,12]来帮助提供更身临其境的VR体验。另一方面，VR是机器人技术中的一项使能技术，可提供沉浸式机器人远程操作[13]，辅助机器人编程[14]，进行人机交互和协作研究[15-17]甚至培训个人关于如何与机器人合作[18]。

机器人领域缺乏VR集成的主要原因是缺乏商用VR设备的可用性和可承受性。但是，在过去的十年中，具有沉浸式可视化和6自由度（DOF）跟踪的VR设备在商业上已经有了相当大的进步，并且相对便宜。随着这些进步，在机器人技术领域中越来越多地利用VR。特别增长的领域之一是利用VR设备进行人机交互和协作。

通过将用户沉浸在3D环境中，用户可以在3D共享或远程环境中查看机器人并与之交互，VR提供了创建更自然，直观界面的机会。这样可以更好地了解情境并简化交互。机器人接口有两种类型，一种是远程操作，其中操作员控制机器人的末端执行器；另一种是共享控制，其中操作员向机器人提供高级命令。两种界面类型均允许操作员从远程位置控制机器人。这样就可以将机器人用于危险，遥远和大胆的工作中，并消除了操作员的风险，但仍将其知识和专业知识保持在循环中。通过使用VR，由于VR的身临其境的特性，这些接口可以在更广泛的应用中使用。

在本文中，我们对开发与机器人进行交互的界面中使用虚拟现实的系统综述。本文的动机是需要研究与人类，VR和机器人技术之间的联系这一新兴领域。这篇综述的目的是巩固机器人的VR接口的最新文献，以识别当前的最新技术和未来的研究领域。

2. 方法

为了确定在机器人界面中如何使用虚拟现实，我们按照系统评价和荟萃分析的首选报告项目（PRISMA）指南进行了系统评价[19]。出版物是从以下数据库中收集的：

3. 结果与讨论

对于本次审查，我们将论文归类为五个不同领域：可视化，机器人控制和规划，交互，可用性和基础结构。类别之间存在自然的重叠，但是，每篇论文都被分配了贡献最大的论文。图2显示了每个类别中论文的细分。

3.1 可视化

可视化类别包含主要集中于向用户显示上下文的概念。当前，大多数工作是在VR中确定代表真实世界的最佳方法。参考[20]研究了显示不同级别的环境信息对VR机器人界面中的任务性能和操作员状况感知的影响。具体来说，他们着眼于两个信息环境：完整信息和代表性模型。完整的信息上下文向操作员显示所有上下文和与任务相关的信息，其中包括机器人周围环境的网格。尽管代表性模型上下文仅显示与任务相关的信息，但不包括对机器人周围环境的任何可视化。最终，他们发现与代表性模型相比，显示完整信息时可以减少完成任务的时间，但是两者之间的准确性保持不变。但是，在提供完整信息期间，注意力需求明显增加。参考[21]当将整个环境的代表性模型可视化与真实环境的实时点云可视化进行比较时，看到了相似的结果，发现点云可视化的成功率和可用性等级更高。但是，点云可视化在计算上可能会很昂贵，并且需要大量带宽。参考[22]试图通过提出一种有效地处理和可视化VR应用程序的点云的方法来解决这个问题。

参考[23]评估了如何使用虚拟功能（例如3D机器人模型，对象目标姿势或显示到目标的距离）如何影响操作员完成遥测拾放任务的性能。总体而言，他们的结果表明，虚拟功能可提高任务执行的准确性和效率，并显着减少专家用户与非专家用户之间的差异。参考[24]将沉浸式3D可视化与标准的基于2D视频的可视化进行了比较。他们发现，通过显示实时3D场景信息，可以提高在场景中进行自我定位，在拐角处机动，避开障碍物，评估地形可导航性以及控制可视化视图的能力。参考[25]采用略有不同的方法，并评估了在远程操作建筑机器人时不同的观点如何影响成功。总体而言，它们显示出主动视点（与机器人的移动相符以保持末端执行器），在该视点中用户可以移动其头部以改变可视化效果，从而提高了遥控操作的成功率在视图中。

3.2 机器人控制和规划

此类别指的是专注于将人类输入与机器人运动相关联的区域，以实现成功的遥控操作。参考文献[32]定义了三种映射模型来对远程操作接口进行分类：直接的，网络物理的和同质的。这些模型的简化表示如图3所示。这些类别有助于说明在机器人空间和用户空间之间进行的不同量的信息，这些信息用于机器人的远程操作。 Direct将用户的手和眼睛直接映射到机器人。通过将用户空间映射到虚拟机器人和环境，计算机物理包含了用户与机器人之间的映射，类似地，机器人空间又映射回了该虚拟空间。最后，全息模型通过使用用户与机器人之间的虚拟空间，将映射与直接模型解耦，从而结合了最后两个模型，但不需要像虚拟物理模型中那样与真实模型相匹配的完整虚拟机器人和环境。

参考文献[37]提出了一种系统架构和控制器，该架构和控制器通过利用机器人的数字双胞胎而属于网络物理模型。这里的想法是，存在三个控制回路，一个用于操作员输入，一个用于物理机器人，另一个作为数字双胞胎与实际机器人之间的交互作用。这种方法的好处是不需要将机器人和人类放在一起，而是可以对机器人进行长距离控制。参考文献[38]开发了一种交互方法，该方法通过将人的输入与机器人的控制环解耦，并避免在机器人控制器中直接使用跟踪的操作员运动，来遵循单模模型。为此，他们设计了一种具有两种交互模式的力控制器，一种用于粗略运动，另一种用于精细运动。在粗略运动模式下，操作员能够通过使用坐标系操纵虚拟球体来锁定机器人的运动并调整机器人的所需位置和方向。一旦满足要求，操作员便可以切换到精细运动模式，在该模式下，方向被锁定并且仅控制位置，并且只要与虚拟球体进行交互，机器人就会连续移动。他们将远程操作界面与[39]中介绍的远程操作界面进行了比较，该界面直接跟踪操作员的动作，因此要求操作员同时控制机器人的位置和方向，发现他们的系统相对于远程操作界面具有93.75％的成功率。完成堆叠任务的比率为25％，这归因于控制器中的解耦和强制调节。在[40]中发现了类似的结果，他们表明人们更喜欢通过单击并拖动虚拟球体来控制机器人的运动，而不是让机器人直接跟随VR控制器的运动。

虚拟现实机器人的控制和规划方面的改进也正在针对特定的应用进行研究。参考文献[41]提出了一种架构，该架构可估计人类在VR中操作焊接机器人的意图。他们的结果表明，使用人类意图识别器可以提高性能。参考文献[42]没有意识到人的意图，而是开发了一种基于优化的计划程序来控制VR中的绘画无人机。定性结果表明操作员可以控制喷漆无人机跟踪先前喷漆的轮廓线，从而在系统中具有很高的准确性。类似地，参考文献[43]设计了一种用于空中操纵的遥操作系统，该系统包括触觉反馈。参考文献[13]定义了一种控制架构，该架构利用VR头戴式耳机，VR控制器和全向跑步机来创建完全沉浸式的远程操作界面，以操作人形机器人。

3.3 交互

交互论文着重于开发新的交互技术以控制VR中的机器人并确定最佳交互实践。参考文献[44]开发了一个VR接口，该接口结合了对象功能，可简化装备有灵巧机器人手的两个机械臂的遥控操作。它们通过允许操作员将手臂朝着感兴趣的对象进行遥控操作，然后提供可负担菜单来提供抓握和操纵帮助。承受能力菜单允许用户从列表中选择可以对对象执行的可能的抓握和动作。参考文献[45]设计了一个可视化编程系统来定义移动机器人的导航任务。他们的系统通过构建一个虚拟现实环境来工作，该虚拟现实环境是根据机器人的视觉同步本地化和映射（vSLAM）的输出构建的，然后允许用户选择高级地标以及任务级运动命令。从那里，他们的系统可以为机器人规划一条路径，以完成所需的任务。参考文献[46]研究了预测性组件如何在多机器人系统的VR界面中提高操作员的态势感知和工作量。

他们的结果表明，使用预测性组件时没有明显改善。但是，作者承认，这些结果可能是由于缺乏操作员对理解预测线索的培训所致。因此，在这方面还有其他工作要做。参考文献[47]实现了一个系统，该系统允许用户与机器人协作以使用VR进行室内环境的3D映射。他们的系统通过使用VR头戴式耳机姿态数据估算人类意图来工作，然后将其用于导航移动机器人以构建环境的3D地图。该地图渲染在VR头戴式耳机内部，为用户提供了身临其境的视图。

在确定与VR中的机器人进行交互的最佳方式方面，还开展了一些工作。参考文献[48]比较了两种不同的VR交互，即位置控制和轨迹控制，以远程操作机器人操纵器。在位置控制中，用户可以放置单个航路点，以便机器人自主导航到该位置，并且用户可以选择随时停止运动。在轨迹控制中，用户可以通过按下按钮来移动手臂，并且机器人将跟随控制器的相对运动。他们进行了一个由12个人组成的用户研究，比较了他们的两个VR接口，发现使用位置控制时，用户通常在执行任务时既更快又更准确。参考文献[49]通过从VR视频游戏中汲取灵感，确定最佳的VR控制方案和实践，探索了为类人动物开发VR接口的方法。他们总结了总共14款VR游戏，特别着眼于他们使用的观点，游戏中的动作如何完成，操纵方式以及如何显示信息。 Ref [50]研究了使用不同的控制器，VR控制器以允许抓取和3D鼠标来驱动，在操作一对机械臂执行拾取和放置任务时，最终发现由于使用VR控制器而允许更快的操作，这是由于更快的总运动控制。

3.5 基础设施

基础架构类别专注于有助于支持连接VR和机器人进行接口开发的系统架构或软件。这篇综述中的大多数论文都将ROS用于机器人开发，将Unity用于VR开发，并且目前尚无标准的接口来实现两者之间的接口。因此，有必要找到一种弥合差距的方法。参考文献[55]提出了一种系统架构，该架构可使用在Unity中开发的ROS和虚拟现实接口与多机器人系统协同工作。一些作品还提供了开放源代码解决方案，以允许ROS和Unity之间进行WebSocket通信[56,57]。另外，西门子有一个小组正在开发一个名为ROS＃的开源库[58]。参考文献[59]提供了一种替代ROS＃的方法，可以减小消息的大小，因此通常可以实现更快的数据传输。但是，他们的解决方案当前不是开源的。参考文献[60]提出了一种能够进行自动校准的方法，以提供机器人单元与VR系统之间的空间关系。他们的工作以开源ROS软件包的形式提供。

4. 采用的方法

在过去的四年中，用于操作机器人的VR接口已经走了很长一段路。 VR设备的商业化和许多研究者可以负担得起的力量极大地推动了最新技术的发展。越来越多的VR社区可以帮助支持开发，从而降低了新开发人员的进入门槛。这在VR机器人界面的系统架构和基础架构领域尤为重要，因为现在有几种开放式源代码解决方案可以将ROS和Unity连接起来，从而使VR机器人界面开发的入门变得更加容易。此外，还有几项作品展示了VR接口在传统接口（例如2D计算机接口）上的前景。总体而言，已显示VR接口减少了任务完成时间，提高了操作员的性能，并且通常比传统接口更受青睐。这些工作有助于满足需要继续开发用于机器人操作的VR接口的需求。

尽管在VR机器人界面中已经进行了大量基础工作，但仍有一些领域需要进一步开发。例如，尽管创建VR远程操作界面可能并不总是可行的，并且共享控制界面可能是更合适的解决方案，尤其是对于复杂的系统，但创建VR远程操作界面已经进行了大量工作。但是，尽管共享控制VR接口具有以下优点，但它们的优势在于允许机器人半自动动作，这反过来又使用户仅在需要时提供输入并专注于关键要素，因此对共享控制VR接口的研究仍然有限。此外，到目前为止，大多数VR接口都是为机器人操纵器，空中机器人或移动机器人设计的。图4显示了每个类别中所审阅论文的热图以及所使用的机器人的类型。目前，使用双足人形机器人的工作非常有限。但类人动物是通用平台，可以轻松地在为人类设计的各种环境中使用。但是，它们是复杂的动态系统，可以从VR设备提供的沉浸式和3D交互环境中受益匪浅。

此外，随着VR接口开发的继续，重要的是要不断评估用户中这些新进步的可用性和吸引力。在实际应用中与系统的实际潜在用户一起评估这些接口也很重要。