Nvidia研究人员使用AI教机器人如何将物体交给人类

 
在本周发表的预印研究论文中，Nvidia研究人员提出了一种人机交互的方法，该方法是机器人在半途中遇到人类，对人类的抓握进行分类，并计划从人类手中拿走物体的轨迹。他们声称与基线相比，移交更为流畅，他们说这可以为协作式仓库机器人的设计提供参考，从而提高工人的生产率。
正如合著者所解释的那样，越来越多的研究集中在实现无缝人机切换的问题上。假设人类可以将物体反过来放置在机器人的夹具中，那么大多数解决了将物体从机器人转移到人类的挑战。但是，人和物体姿态估计的准确性会受到遮挡的影响(即，当物体和手相互遮挡时)，并且人类在搬运物体时经常需要注意其他任务。
Nvidia团队离散化了人类可以将小物体分成几类的方式，因此，如果一只手抓住一个块，则该姿势可以分类为“在手掌上”，“捏底”，“捏顶”。 ，“捏侧”或“提起”。然后，他们使用Microsoft Azure Kinect深度相机编辑数据集，以训练AI模型将持物体的手分类为这些类别之一，特别是通过向对象显示手的示例图像并记录对象的行为20至60秒的姿势相似。在录制过程中，该人可以将其身体和手移动到不同的位置，以使相机的视点多样化，并且捕获了对象的左右手，共拍摄了151,551张图像。
Nvidia机器人抓取
研究人员将交接任务建模为所谓的“健壮的逻辑动力学系统”，该系统会生成运动计划，从而避免在给定分类的情况下机械手与手之间发生接触。该系统必须适应不同的可能的抓握，并做出反应选择接近人类并从中获取物体的方式。直到它稳定地估计出人们想要如何展示该块时，它才会停留在“原始”位置并等待。
在一系列实验中，研究人员对一系列不同的手部姿势和握法进行了系统的综述，包括分类模型和任务模型。来自Franka Amika的两个不同的熊猫机器人安装在不同位置的同一张桌子上，人类用户将四个不同颜色的块交给了它们。
Nvidia机器人抓取
根据共同作者的说法，与现有方法相比，他们的方法“始终如一”提高了抓取成功率，并减少了总执行时间和审判时间。它的抓取成功率为100%，而第二好的技术为80%，计划成功率为64.3%，而计划成功率为29.6%。此外，计划和执行动作花费了17.34秒，而第二快的系统花费了20.93秒。
研究人员写道：“总的来说，我们对人手抓握的定义涵盖了77%的用户抓握，甚至在他们不了解我们系统中定义的抓握方式之前。” “虽然我们的系统可以处理大多数人类看不见的抓握，但它们往往会导致更高的不确定性，有时还会导致机器人退缩并重新计划。 ……这为未来的研究提供了方向;理想情况下，我们将能够处理人类可能想要使用的更多范围的抓取。”
Nvidia机器人抓取
将来，他们计划使系统适应从数据中学习不同握持类型的握持姿势，而不是手动指定规则。