标题：人类组装任务向机器人的语言转移
0. 摘要
我们演示了组装任务从人到机器人的自动转移。 通过现在对人类演示进行真实的可视化分析以自动提取任务策略，这项工作扩展了努力，展示了语言模型在可验证的机器人控制策略中的实用性。 此方法将每个人类演示标记为一个对象连接符号序列，然后将来自所有演示的序列集转换为一个自动机，该自动机代表用于组装所需对象的任务语言。 最后，我们将此装配自动机与机械臂的运动学模型相结合，以重现演示的任务。
1.介绍
结合形式语言和微分方程的混合系统模型是验证和控制机器人系统的有效而强大的方法。 但是，这些形式化模型的开发通常是需要数学和特定领域专业知识的手动过程。 自动化用于机器人系统的形式化工具的开发将是更加理想的。 使用任务分解和机器人动作的语言表示，我们演示了通过适合形式验证和有效执行的语法将组装任务从人到机器人的自动转移。
在以前的工作中，我们开发了运动语法（MG）来表示复杂的机器人任务，例如完全基于上下文无关语法的交互式人机交互国际象棋[1]作为混合控制器。 我们还用MG为游戏Yamakuzushi控制了机器人手臂，并正式探索了与基于语法的控制器有关的正确性和完整性[2]。 此外，我们介绍了转换规则的基本演算，该演算可对运动语法[3]的语法（离散产生）和语义（连续控制律）进行操作。 我们先前的工作基于广泛用于控制机器人和其他动力学系统的基于语法的方法[4]，[5]，[6]，[7]，[8]。 所有语言控制方法的主要挑战是为系统开发合适的模型和规格，特别是针对复杂多样的机器人任务。
本文的贡献是使用代表任务控制策略的可验证模型演示了组装任务从人到机器人的自动转移。 这个演示系统是从计算机视觉，最优化和语言理论到从人类活动到句法任务说明的各种技术的新颖集成，图1。我们在组装的应用领域中使用一组小型木制物体进行操作。 在此领域中，我们将人类演示转换为符号形式，从一组演示中推断出句法模型，并模拟再现演示任务的机器人。
2. 相关工作
我们简要总结了混合控件，语法推断，从演示中学习以及机器人组装等领域的工作，因为它们在这里都涉及到。 另外，我们在[9]中对适用于该方法的现有算法进行了综合说明。
混合控制是一个活跃的研究领域，它探索具有离散的，事件驱动的，动态的和连续的，时间驱动的，动态的系统。 [10]首先将语言和自动机理论[11]应用于离散事件系统。 混合自动机通常将有限状态机（FSM）与与每个FSM状态相关的微分方程组合在一起。 这是一个广泛研究和利用的模型[4]，[5]，[6]，[7]，[8]。 在本文中，我们使用运动语法对混合系统建模，该运动语法表示具有微分方程的连续动力学，而使用上下文无关文法（CFG）则表示离散动力学。
用于指定机器人任务的方法和领域特定的语言很多。 包容体系结构指定了一个任务策略，该策略具有一组并行执行的有限状态机[12]。 [13]提出了一种用于机器人操纵任务的领域特定语言。 [14]描述了一种类型安全的，图灵完备的机器人编程语言。 [15]在移动机器人运动计划中使用类似于英语的线性时序逻辑语法。 与这些工作不同，我们专注于通过人工演示自动推断机器人任务规格。
语言模型先前已应用于活动识别。 文献[16]描述的句法模式识别使用语法来对标记化的系统进行解析和分类，这与诸如SVM的分类技术不同，后者直接划分连续的特征空间。 句法方法被[17]，[18]，[19]应用于人类活动识别。 我们的目标不是仅仅基于现有语法识别或分类活动，而是观察活动并生成描述该活动的语法，然后将该语法传递给机器人以执行。
语法推理是一个持续的研究领域，致力于从示例字符串和学习者查询中开发语言模型[20]。 尽管在该领域有许多积极的成果，但是琐碎的语法推理问题通常是无法确定的。 例如，常规语言的类别不能仅从积极的例子中学习。 为了在面临这些挑战的情况下开发一种可行的系统，我们最初将重点放在推断有限语言的语法上。 但是，我们的整体方法也适用于更强大的推理形式，例如知情学习。
还有许多其他方法可以从机器人系统的演示中学习[21]，[22]。 许多方法都专注于学习连续轨迹[23]，而在这项工作中，我们专注于特定任务的象征性抽象。 其他象征性学习方法包括[24]学习目标集的目标配置，[25]学习来自多个人类演示的STRIPS规划器的逻辑模型。 我们的工作与其他方法不同，它产生的语法任务模型与机器人的语义相结合，代表了一种形式上可验证且有效执行的混合动态控制策略。
机器人组装任务还有许多其他方法[26]，[27]。 而不是孤立地处理组装任务，我们的目标是从人类演示中推断出一种可验证且可执行的策略，该策略以语法的形式来控制执行该组装任务的机器人。
3. 机器人组装的语言
为了探索机器人的语法自动生成，我们关注对象组装的领域。 我们的系统观察人类对某些所需对象的组装演示，并从这些演示中自动构建代表相同任务的形式语法。 我们首先使用正式语言审查建模机器人，然后描述用于组装任务的语言。
A. 机器人系统作为语言：运动语法
我们可以将人类和机器人视为包含连续元素和离散元素的混合系统。 我们可以使用微分方程对连续的系统动力学建模，以及使用形式语言对离散的动力学建模。 正式语言是一组字符串。 字符串是原子符号的序列，我们用它们来描述系统中的离散事件，谓词和动作。 语法定义了正式语言。 这种组合的混合模型定义了完整的系统动力学，并代表了控制系统的策略。
运动语法（MG）[1]，[2]，[3]是混合系统的模型。 尽管我们的语法推断方法可广泛应用于任何语言混合控制方法，但我们将重点放在MG上以提供清晰的说明。 MG结合了用于连续动力学的微分方程式和用于离散动力学的上下文无关文法。 该模型使我们可以正式描述复杂的机器人系统，例如[1]中的物理人机象棋比赛，还为我们的控制策略的效率和可验证性提供了保证[2]。 现在，我们研究了自动生成MG本身的过程。
C. 实验设置
我们的实验装置包括一个木制组装套件，一个Kinect RGBD相机和一个模拟的Schunk LWA3 7自由度机械手，以及Schunk SDH 7自由度的灵巧手。通过实际的人类演示，我们推断出该任务的控制策略，然后在模拟的Schunk机器人上实现该策略。为了捕获演示，将Kinect传感器安装在桌子上方，以观察执行组装任务的人员。图3（a）的组装件来自Melissa＆Doug品牌的木制建筑套件。我们对零件所做的唯一修改是将色彩鲜艳的点附加到螺钉的末端。这简化了将螺丝与Kinect图像中附带的条形图区分开的情况，Kinect图像具有640×480像素的有限分辨率。为了说明我们的推理流程，我们将在图4（a）中显示构建简单程序集所需的每个步骤。从人类演示中推断出策略后，我们使用Schunk机器人的运动学模型对该策略进行仿真，然后使用Peekabot可视化工具将结果显示在图1（c）中。
D. 组装语言
在对象组合件中，对象之间的连接形成图形。 在简单的情况下，对象是图节点，对象之间的连接是边。 但是，我们可以通过考虑对象上的多个连接点来使该模型更精确。 为此，我们为这些连接点引入了其他节点。 每个对象节点的每个连接点节点都有边缘。 程序集中的每个连接均由两个图形节点之间的连接边缘表示。 这种类型的图如图4所示。