不用3d视觉工具，靠“幻觉”场景就能训练机器人识别物体空间位置-k8凯发旗舰

图片来源：mees et al.

随着越来越多的机器人进入各种复杂环境，研究人员正努力使它们与人类的互动尽可能地顺畅自然。训练机器人对口头指令立即做出反应，例如“拿起玻璃杯，向右移动”等，在许多情况下都是理想的，因为它最终将使人类与机器人之间的交互更加直接和直观。然而，这并不总是容易的，因为它需要机器人理解用户的指令，还需要知道如何根据特定的空间关系移动物体。

德国弗莱堡大学的研究人员最近设计了一种新方法，通过对“幻觉”场景表象进行分类，来教机器人按照人类用户的指令移动物体。他们在arxiv上预先发表的论文将于今年6月在巴黎举行的ieee机器人与自动化国际会议(icra)上发表。

“在我们的工作中，我们专注于相关对象的放置指令，比如‘把杯子放在盒子的右边’或‘把黄色的玩具放在盒子的顶部’。”参与这项研究的研究人员之一oier mees告诉techxplore。“为了做到这一点，机器人需要考虑把杯子相对于盒子或任何其他参考物体放在哪里，以重现用户描述的空间关系。”

训练机器人理解空间关系并相应地移动物体是非常困难的，因为用户的指令通常不会在机器人观察到的更大的场景中描绘特定的位置。换句话说，如果一个人类用户说“把杯子放在手表的左边”，机器人应该把杯子放在手表的左边多远，以及不同方向之间的确切界限在哪里(例如，右、左、前、后等)?

“由于这种固有的模糊性，也不存在可以用来学习空间关系建模的基础事实或‘正确’数据。”mees说，“我们从辅助学习角度来解决空间关系基于事实的像素标注的不可用性问题。”

mees和他的同事们设计的方法背后的主要思想是，当给定两个物体和一个代表它们被发现的环境的图像时，更容易确定它们之间的空间关系。这使得机器人能够检测出一个物体是否在另一个物体的左边、上面、前面等等。

虽然识别两个对象之间的空间关系并没有指定应该将这些对象放置在何处来重现这种关系，但是在场景中插入其他对象可以让机器人推断出在多个空间关系中的分布。将这些不存在的（即幻觉的）对象添加到机器人所看到的内容中，将允许它评估场景在执行给定动作时的外部环境（即，将一个对象放置在桌面或前面的特定位置）的）。

“最常见的情况是，在图像中真实地‘粘贴’对象需要访问3d模型和轮廓，或者仔细设计生成对抗网络(gans)的优化过程。”mees说，“此外，在图像中简单地“粘贴”对象会产生微妙的像素伪影，导致明显不同的特征，并使训练错误地聚焦于这些差异。我们采用一种不同的方法，将物体的高级特征植入卷积神经网络生成的场景特征图中，对场景表象产生幻觉，并将其分类为辅助任务来获取学习信号。”

在训练卷积神经网络(cnn)学习基于幻觉对象的空间关系之前，研究人员必须确保它能够根据单个图像对单独的物体对之间的关系进行分类。随后，他们“欺骗”了这一网络，称为relnet，通过在不同的空间位置植入高水平的物品特征来对“幻觉”场景进行分类。

“我们的方法允许机器人通过最少的数据收集或启发来遵循人类用户给出的自然语言的放置指令。”mees说，“每个人都想在家里有一个服务机器人，它可以通过理解自然语言指令来执行任务。这是让机器人更好地理解常用空间含义的第一步。”

大多数现有的训练机器人移动物体的方法都是利用与物体三维形状相关的信息来模拟成对的空间关系。这些技术的一个关键限制是，它们通常需要额外的技术组件，比如可以跟踪不同物体运动的跟踪系统。另一方面，mees和他的同事提出的方法不需要任何额外的工具，因为它不是基于3d视觉技术。

研究人员在一系列涉及真人用户和机器人的实验中评估了他们的方法。这些测试的结果很有希望，因为它们的方法可以让机器人根据人类用户的语音指令所描述的空间关系，有效地识别出将物体放在桌子上的最佳策略。

“幻觉场景代表我们的新颖的方法在机器人技术和计算机视觉社区中也可以有多种应用, 因为机器人通常需要能够估计未来状态的良好程度，以便推理出他们需要采取的行动。”mees说。“通过使用幻觉场景表示作为数据增强的一种形式，它还可以用来提高许多神经网络的性能，比如对象检测网络。”  

mees和他的同事们能够在不使用3d视觉工具的情况下，可靠地建立一组自然语言空间词的模型(如右，左，在上，等等)。在未来，他们研究中提出的方法可以用来提高现有机器人的能力，让它们更有效地完成简单的物体移动任务，同时遵循人类用户的语音指令。

同时，他们的论文也可以为开发类似的技术提供参考，以增强在其他对象操作任务中人类和机器人之间的交互。如果加上辅助的学习方法，mees和他的同事开发的方法还可以减少与机器人研究数据集编译相关的成本和工作，因为它可以在不需要大型注释数据集的情况下预测像素概率。

mees总结道:“我们认为这是朝着人类和机器人之间达成共识迈出的有希望的第一步。”“在未来，我们希望扩展我们的方法，纳入对指称表达式的理解，以开发一个遵循自然语言指令的取放系统。”

原文来源：https://techxplore.com/news/2020-02-robots-placements-hallucinating-scenes.html