OpenAI的Jeff Clune讲述了深度学习的致命弱点和通往AGI的更快之路

 
神经网络与人的学习方式有所不同。如果一个人在多年之后又回到运动中，他们可能会生锈，但是他们仍然会记住数十年前学到的很多东西。另一方面，典型的神经网络会忘记训练后要做的最后一件事。如今，几乎所有的神经网络都遭受了这种“灾难性的遗忘”。
OpenAI研究科学家Jeff Clune告诉VentureBeat，这是机器学习的致命弱点，因为它阻止了机器学习系统“持续学习”(记住先前任务的能力)。但是可以教一些系统记住。
在上个月加入OpenAI领导其多代理团队之前，Clune与Uber AI Labs和佛蒙特大学的研究人员一起工作。本周，他们共同分享了ANML(一种神经调节元学习算法)，该算法能够以最少的灾难性遗忘来学习600个顺序任务。
“这在机器学习中是闻所未闻的。据我所知，这是AI能够完成的最长的任务序列，到最后，它在所看到的所有任务上仍然相当出色。” Clune说。 “我认为，这类进步几乎将在我们使用AI的所有情况下使用。它将使AI变得更好。”
在收购Geometric Intelligence之后，Clune于2017年协助共同创立了Uber AI Labs，并且是周一在arXiv上发表的题为“学习不断学习”的论文的七位合著者之一。
论文的共同作者称，教AI系统学习和记住数千个任务是AI长期存在的“巨大挑战”。这样的系统可以创建能够处理和记住一系列任务的AI系统，Clune相信像ANML这样的AI是实现更快的途径以应对最大挑战：人工智能(AGI)的关键。
克劳恩(Clune)在加入OpenAI之前写的另一篇论文中说，这是一家旨在创建世界上第一个AGI的数十亿美元的创业公司。他辩称，可以通过改进元学习算法架构，算法本身以及自动生成AGI来实现通往AGI的更快路径培训环境。
“如果您的系统正在搜索架构，创建越来越好的学习算法，并自动创建自己的学习挑战并解决挑战，然后继续应对更艰巨的挑战……[如果]将这三个支柱放在一起……您将拥有什么?我称之为“ AI生成算法”。这是AGI的另一种途径，我认为最终会更快。” Clune告诉VentureBeat。
通过对问题的元学习解决方案，而不是手动设计解决方案，ANML取得了进步。这与寻找算法体系结构以查找最新结果而不是从头开始手动编码算法保持一致。
上周，《麻省理工学院技术评论》的一篇文章认为，OpenAI缺乏达成AGI的明确计划，因为它的一些突破是计算资源和其他实验室开发的技术创新的产物。文章说，OpenAI的普通员工认为，要达到AGI，将需要15年。
OpenAI发言人告诉VentureBeat，Clune的AI生成算法愿景符合该组织的研究兴趣和先前的工作，例如用于解决Rubik’s Cube的机器人手模型。但是这个人对克劳恩关于更快地走向AGI的理论没有意见。
该发言人还拒绝回答有关AGI路线图的问题或对《麻省理工学院技术评论》的评论，但表示作为多代理团队负责人的克劳恩将专注于AI生成算法，多个交互代理，开放式算法，自动生成培训环境以及其他形式的深度强化学习。
“他们聘请我追求这一愿景，他们很感兴趣-他们的许多工作都与这一愿景非常契合，他们喜欢这个想法，并聘请我继续努力，部分原因是因为它与他们发表的作品保持一致”，克劳恩说。
ANML，神经调节和人脑
ANML通过元学习神经调制网络的参数来获得最新的持续学习结果。神经调节是在人脑中发现的一个过程，其中神经元可以抑制或激发大脑中的其他神经元，包括刺激它们学习。

 
在怀俄明大学的实验室中，克劳恩及其同事证明了他们可以完全克服灾难性的遗忘，但仅限于更小，更简单的网络。 ANML将灾难性的遗忘减少扩展为具有600万个参数的深度学习模型。
它也扩展了OML，该模型由Martha White和Khurram Javed在NeurIPS 2019上推出，能够完成多达200个任务而不会造成灾难性的遗忘。
但是Clune说ANML与OML有所不同，因为他的团队意识到打开和关闭学习本身并不够。也有必要调节神经元的激活。
“我们在这项工作中所做的就是让网络具有更大的功能。如果您愿意，神经调节网络可以改变正常大脑的激活方式，大脑的工作是完成诸如骑自行车，下棋或识别图像之类的任务。它可以改变这种活动，并说“我现在只想从您网络的下象棋游戏中听到”，然后间接允许它控制学习的地点。因为如果只有网络的下棋部分处于活动状态，那么根据随机梯度下降法(这是您用于所有深度学习的算法)，学习只会或多或少地在该网络中进行。”
在最初的ANML工作中，该模型使用计算机视觉来识别人类笔迹。对于下一步，Clune说他和Uber AI实验室以及佛蒙特大学的其他人将扩大ANML的规模，以尝试完成更复杂的任务。 DARPA的“终身学习机器奖”支持ANML的研究。