随着机器人抓地力的提高，竞争对手开始讨论成功的指标

 
去年6月，亚马逊在re：Mars会议上举行了一场机器人与AI狂欢节。迪士尼展示了令人惊叹的机器人杂技演员的演示，而其他人则展示了可以在灾难发生后穿越建筑物裂缝的运送机器人，灵巧的机器人手和机器人蛇。波士顿动力(Boston Dynamics)的四脚Spot Mini以及用于太空的机器人。为了开始活动，小罗伯特·唐尼宣布在机器人的帮助下建立了一个新的基金会来清理地球。
但是，当一名亚马逊员工在舞台上向首席执行官杰夫·贝佐斯(Jeff Bezos)询问他对未来10年的愿景时，贝佐斯首先谈到了看似平凡的应用程序-机械臂和抓取物体。就像在公路上使用自动驾驶汽车系统一样，机器人的抓取仍然是AI面临的巨大挑战之一，它有望在未来几年内颠覆经济并改变人们的生活。但是，就像自动驾驶汽车领域一样，有时对于在麻省理工学院和加州大学伯克利分校的机器人研究实验室之外的公司中衡量进步的最佳方法也存在分歧。
“我认为，如果您回顾30或40年的时间，并询问当时的机器学习人员，机器人专家和计算机科学家，那么哪个问题更难解决-机器视觉，自然语言理解或掌握-我认为大多数人们会预言我们将首先解决抓握问题，”贝佐斯说。 “当然，事实证明这是一个非常困难的问题，部分原因是我们开始用机器视觉解决[抓取]问题。“
亚马逊和Blue Origin首席执行官杰夫·贝佐斯(Jeff Bezos)在拉斯维加斯举行的亚马逊re：Mars会议上讨论了空间，技术的未来以及其他主题
如今，在亚马逊运营中心，拣货(将订单中的单个物品移入盒子的动作)是由人来完成的，但是抓住机器人可以代替这些工人，从而消除了电子商务中的整个人工层。亚马逊是一家公司，其前履行中心员工表示将其像机器人一样对待，并且自2012年收购Kiva Systems并创建Amazon Robotics以来，亚马逊继续在履行中心增加机器人的角色。
具有更精细抓握能力的机械臂将在家庭机器人技术(据报道，亚马逊正在从事这项工作)以及其他领域的一系列任务中应用，以及Bezos计划使用Blue Origin在月球上或附近建造的计划。
Covariant首席执行官Peter Chen在接受VentureBeat采访时说，他的公司将每小时平均拾取(MPPH)视为“退休指标”，尽管有些人仍将其视为衡量机器人抓取系统性能的主要方法。他说，应该取消该指标，因为他不再认为以机械臂实现人工拣选的速度是一个挑战。
MPPH考虑到机器人在一小时内进行的平均抓取次数，平均抓取可靠性或每次抓取成功的概率。但Chen认为，每小时需要人工干预的错误数量是一个更好的衡量标准，因为机器人如何根据该指标执行操作可以确定其需要多少人工监督。
他对我们评估自动驾驶系统的方式进行了比较。
“ [每小时平均采撷量]有点像，’你能在晴天下车吗?’这类似于自动驾驶的情况。每个人都可以做到。不再是考验。真正的考验是您可以维持多长时间。这变得很重要，”陈说。
“我们要衡量的更多是系统的可靠性。这类似于在自动驾驶中人们衡量[人类]驾驶员需要多长时间接触一次。因为这基本上衡量了AI无法自行做出决策的时间，对我们来说这是同一回事，我认为这几乎是价值创造方面最重要的衡量标准。”
Chen说，他不知道有其他公司将每小时平均干预作为关键指标，但是他说，这反映了Covariant在机器人操纵领域的成熟度。
Covariant于2017年推出，但直到上个月才脱颖而出，得到了Geoffrey Hinton，Jeff Dean和Yann LeCun等深度学习专家的支持。协变共同创始人包括Chen，加州大学伯克利分校机器人学习实验室主任，伯克利AI研究(BAIR)联合主任Pieter Abbeel，以及在OpenAI一起工作时相识的其他人。
Covariant是一家初创公司，其系统当前正在德国的一家工厂中使用。Covariant最近声称已达到一个新的里程碑。该公司表示，其机器可以拣选和包装大约10,000种不同的物品，其准确性超过99%。
去年的一次测试中，机器人公司ABB邀请了来自美国和欧洲的20家公司参加涉及挑拣和分类随机物品的挑战。最后，协变公司是唯一能够完成所有任务并以与人类相当的速度完成任务的公司。
ABB发言人拒绝评论哪些公司参加了比赛(该公司同意不透露参与者的详细信息)，但表示测试包括26种常见物品，如苹果，玩具，瓶子和翻盖包装。 ABB使用的公式结合了诸如拣选率和错误(如两次拣选或失败的拣选)之类的指标来衡量机器人抓取系统的性能。
本周，ABB宣布与Covariant合作，将支持AI的抓取机器人带入电子商务仓库。
如何衡量成功
在2018年IEEE专着中，学术界，行业和标准机构的机器人社区的19名成员，包括NASA喷气推进实验室，Nvidia机器人部门以及美国国家标准与技术研究院(NIST)等组织的领导人，公开讨论基准和度量标准，以衡量机器人掌握的进度。本文没有明确要求推荐一个成功指标，但提到的主要指标是每小时平均采摘量。
RightHand Robotics的联合创始人兼首席技术官Lael Odhner签署了2018年的协议。
他说，公司和研究人员在计算每小时平均采摘量时可能会有些细微差别，但这是一个要考虑范围，费率和可靠性的数字。在这里，范围是机器人可以选择的客户库存百分比，费率是选择任何给定项目所花费的时间，可靠性是处理异常情况(例如因破损或需要人工干预而丢失的项目)所花费的时间。
他说：“一旦将所有这些组件放在一起，就将以每小时平均拾取次数来衡量结果，但显然，它所考虑的范围远远超过机器人的速度。”
“我认为Peter [Chen]专注于消除手动干预是一个很好的第一步，因为这对任何自动化生产都是很大的风险。但是，在某个时候，生产环境中自动化的价值必须以总吞吐量来衡量，因为客户的预算是用于处理一件物品的这么多美分，而这些产品的总成本总计为合理的价格来支付机器人费用。”奥德纳说。
阿尔伯特·罗德里格斯(Alberto Rodriguez)曾在麻省理工学院的普林斯顿大学(Princeton)团队在2015年至2017年间参加亚马逊机器人挑战赛，现在是麻省理工学院MCube Lab的负责人，他也签署了这份协议。 Rodriguez表示，他相信现在最先进的用于拣选机器人的AI是在创业和公司发展中发现的，而不是学术界。
他说：“与可靠的环境和速度相比，它们使技术的性能提高了很多，算法和硬件的工程设计也比学术环境更好。”
Peter Yu与MIT的Rodriguez在三年的亚马逊机器人挑战赛中竞争。如今，他是XYZ Robotics的CTO，XYZ Robotics是一家机器人系统初创公司，在中国和美国都有客户。
于2017年，Yu表示抓地系统的平均时速接近每小时30次，但MIT-Princeton团队达到的水平接近每小时120次。他说，如今，XYZ Robotics在各种随机项目中每小时可以实现900个镐。
Yu说，跟踪诸如MPPH之类的随时间推移的拣选率的指标对于制造商来说仍然很重要，因为机械臂必须保持速度以与仓库供应链其余部分中的人员和机器保持一致。
“测试抓握系统的最佳方法或最真实的方法是[进入]部署地点之一，然后确定机器人的性能。而且，如您所知，由于重量和尺寸的不同，不同的物品可能导致不同的速度。” Yu告诉VentureBeat。
为什么很难掌握机器人
肯·戈德堡(Ken Goldberg)是敏捷网络(Dex-Net)的共同创建者，该网络是由AUTOLAB与伯克利AI研究部，CITRIS人与机器人计划以及实时智能安全执行(RISE)实验室合作开发的一种用于机器人抓取的系统，在Amazon Robotics，Google，Intel，三星和Toyota Research的支持下。他还是Ambidextrous Robotics的首席执行官，该公司已经筹集了资金，但仍然认为自己处于隐身模式。他还签署了2018 IEEE信函。
在Jeff Bezos去年在re：Mars上台之前，Goldberg谈到了机器人的掌握以及深度学习和模拟数据如何推动该领域的发展。致动器的控制，抓爪之间的摩擦，传感器感知的解释，质心的变化以及嘈杂的数据，这些都使机器人抓紧挑战。但是，戈德堡说，Dex-Net每小时可以处理400个前所未有的物体。 2016年的一项分析显示，人类每小时的表现大约为400到600个平均水平。
与XYZ Robotics一样，Dex-Net声称其系统提供的抓握能力几乎与人类的表现相当，但是两者以不同的方式表达了这一事实。陈说，对于物流客户来说，每小时400个拣选的数量是非常低的，但是他说，拣选速度可以达到每小时900-1,200个拣选。
上个月在旧金山的Re-Work深度学习峰会上发表演讲后，戈德伯格在接受VentureBeat采访时拒绝回答有关Covariant的问题，但谈到了每小时平均采撷量指标。
“我认为每个人都在进行某些部署，但是问题是它是否正在生产中……那是橡胶与道路相遇的地方。我们中有些人一天24小时工作，这真的很令人兴奋，我认为[仓库中还有更多工作]开始发生，”他说。
戈德伯格说，除了每小时的拣选量外，公司还应考虑类似双重拣选的指标-当机器人抓取器一次捡拾两件物品时-还应考虑垃圾箱中剩余的物品数量。
“在某些情况下，如果我们有漂亮的物体并且您有一个非常快的机器人，那么您可以到达[人工采摘率]，”戈德伯格上个月告诉VentureBeat。 “但是他们说人类每小时大约有650个;这是一个了不起的水平。击败人类非常困难。我们很好。我们已经发展了数百万年。”
用于衡量机器人抓取进度的指标可能会因任务而异。例如，对于在关键任务环境(例如空间)中运行的机器人，准确性至关重要。
无论公司使用哪种成功指标来衡量机器人抓取的进度，Chen和Goldberg都同意继续关注对抗性示例(这种示例会不断使系统陷入困境)会带来巨大的进步。
戈德堡告诉VentureBeat：“我们实际上制造了非常难以掌握的对抗对象。”
在去年发表的工作中，Goldberg和来自Berkeley AI Research和AUTOLAB的合著者有意设计了对抗性立方体和其他对象。在一个对抗性立方体的情况下，Dex-Net的成功率为0%。
Chen拒绝透露协变如何进行对抗学习的细节，但他说最好的学习可能性在于寻找离群值。
他说：“可以说，长尾案件通常只在1%的时间内发生。” “如果您进行对抗性培训，那么您可以使这种情况发生的频率更高，并从根本上加速您的培训并提高其效率。”