Google利用计算机视觉来改善机器人操纵性能

 
在预印本文件中，Google和MIT小组研究了是否可以使用预先训练的视觉表示来改善机器人的对象操纵性能。他们说，他们提出的技术-基于能力的操纵-可使机器人在不到10分钟的尝试和错误中学会拾取和抓住物体，这可能为高度适应性强的仓库机器人奠定基础。
基于支付能力的操纵是将操纵任务重新构造为计算机视觉任务的一种方式。它不是将像素引用到对象标签，而是将像素与动作值相关联。由于计算机视觉模型和收费模型的结构相对相似，因此可以将迁移学习中的技术应用于计算机视觉，以使收费模型能够以更少的数据更快地学习-大概就是这样。
为了对此进行测试，团队将各种流行的计算机视觉模型的“主干”(即负责早期图像处理的权重(或变量)，例如过滤边缘，检测角点和区分颜色)注入了基于支付能力的在视觉任务上预先训练的操作模型。然后，他们给一个现实世界的机器人赋予任务，使其学习通过反复试验来掌握一组物体。
MIT Google AI机器人抓取
最初，与从头开始训练收费模型相比，并没有明显的性能提升。但是，从骨干和头部转移权重(包括在后期处理中使用的权重，例如识别上下文线索并执行空间推理)后，训练速度有了实质性的提高。在仅500次尝试和错误掌握尝试中，抓取成功率就达到了73%，而在1000次尝试中就达到了86%。在训练过程中看不到的新对象上，具有预先训练的骨干和头部的模型更好地泛化，仅骨干的抓握成功率为83%，骨干和头部的抓握成功率为90%。
该团队认为，重用需要对象定位(例如实例分割)的视觉任务的权重可以显着改善学习操纵任务时的探索过程。任务中经过预训练的权重鼓励机器人对看起来更像对象的事物进行动作采样，从而快速生成更加平衡的数据集，系统可以从中获知良好和不良抓握之间的区别。
该研究的共同作者写道：“我们今天用于端到端机器人学习的许多方法实际上与用于计算机视觉任务的方法相同。” “我们在视觉预训练方面的工作阐明了这种联系，并表明可以利用视觉预训练中的技术来提高应用于机器人抓紧任务的基于能力的操纵的学习效率。尽管我们的实验指向对机器人深度学习的更好理解，但仍有许多有趣的问题尚待探索。例如，我们如何利用大规模的预训练来实现其他传感模式(例如力力矩或触觉)?我们如何将这些预训练技术扩展到更复杂的操作任务上，而这些任务可能不像抓握那样以对象为中心?这些领域是未来研究的有希望的方向。”