NeurIPS 2019配备了机器人冰壶播放器和咖啡壶

 
上周标志着神经信息处理系统(NeurIPS)，这是世界上最大的AI和机器学习会议之一。 NeurIPS 2017和NeurIPS 2018分别收到3240和4,854份研究论文，但是今年的活动(于12月8日至12月14日在加拿大温哥华举行)轻松地打破了这些记录，提交了约6,600份论文。周日下午，有4200多人在登记线排队，总的说来，有13000多人参加，比上届会议增加了40%。
机器人技术是今年研究中最活跃的一类，英特尔，加利福尼亚大学伯克利分校和其他领导者参加了研讨会和论文。其中最吸引人的也许是培训一组机器以共同解决问题的新颖方法，以及一种多阶段学习技术，该技术使用人类视频的像素级翻译来训练机器人完成任务。
多阶段任务学习
伯克利大学电气工程和计算机科学系的研究人员设计了一个旨在减轻人员负担的系统，至少在定义任务和重置环境方面。他们的框架-AVID-通过CycleGAN将每个步骤的人工指令转换为机器人指令，该技术涉及使用不需要关联的两个域中的图像集合来训练图像到图像的翻译模型。
在实践中，机器人一次将一个任务内部化，自动发现如何重置阶段以重试任务而无需人工干预。从直观的任务说明到视频再到培训，这使得学习过程在很大程度上是自动化的。
研究人员说更好的是，在实验中，AVID成功地学习了一些任务，例如操作咖啡机和直接从原始图像观察中取回杯子。培训仅需20分钟即可提供人类演示，并需要约180分钟的机器人与环境互动，在一项任务中，它优于使用真实机器人演示而非行为演示视频进行的行为克隆。
他们留给未来的工作来分摊为特定任务训练CycleGAN模型的成本，也许是通过重用训练有素的CycleGAN模型来转换其他某些相关任务的演示。研究人员认为，培训可以使用包含环境中多种不同的人类和机器人行为的大型数据集进行概括，从而只需进行几次人类演示就可以学习新任务。
教学机器人团队合作
英特尔的研究人员试图通过称为CERL的框架或协作式进化强化学习来解决机器学习中的两个长期问题-探索环境的偏向性和对超参数表(或在学习过程开始之前已设置其值的参数)选择的高度敏感性。它是一组经过优化的算法，可以共同提高采样效率，并动态分配计算资源，以支持性能最佳的模型。
CERL中的学习目标分为两个同时运行的优化过程。系统构建模型“团队”的总体，并评估每个团队在实际任务上的绩效。经过这些评估，强大的团队将保持在一起，而突变步骤将脆弱的团队分解并将模型改造为新团队。
重要的是，每个模型都有一个共享的重放缓冲区，或者一个数据库，可以在探索时存储其经验。 CERL构建的共享缓冲区与团队位置一样多，因此团队成员可以从所有团队的所有版本的经验中学习。正是这种分层次的方法使CERL能够在许多困难的基准上达到最先进的性能，包括训练3D人形模型以从头开始。
将来，该团队计划在没有明确的奖励反馈的情况下调查涉及多任务学习的类似问题。他们还希望探讨沟通在解决此类任务中的作用，他们指出这是一类问题，这些问题已从简单的感知逐步发展。
谁知道机器人会卷曲得那么好?高丽大学和柏林工业大学的一个团队在一篇论文中描述了一种机器，该机器被称为Curly，它在现实世界的冰壶上拥有自己的冰壶。基于AI的冰壶策略和模拟引擎指导了投掷机器人，该机器人通过结合了牵引力控制，摄像头和机器视觉来自动驱动和识别现场配置。
正如研究人员所指出的那样，冰壶冰原传统上覆盖着卵石，卵石的状况会随着时间而变化，具体取决于温度，湿度，制冰机，维护结束后经过的时间以及比赛期间的清扫量。结果，宝石的轨迹随时间变化。
通过部署基于物理的仿真器来解决此问题，该仿真器旨在调整包括投掷角度，速度和卷曲方向的参数，直到找到最佳策略为止。机器人的投掷器组件在冰盖上执行此策略，同时握住并旋转冰壶石，并通过展开抓臂来释放冰壶石。跳过组件在考虑到变化性的同时保留了宝石的位置和轨迹的标签。
根据研究人员的说法，Curly在冰上实验中表现出色，即在经典游戏环境中以及在与韩国顶级业余高中团队等人类对手互动时都表现出色。他们使用可解释的AI技术进行未来的研究，以更好地了解关键的击球影响，从而使机器人可以从错误中更好地学习。