Google Brain的AI实现了最先进的文本汇总性能

 
总结文本是一项改进机器学习算法的任务，微软最近发表的一篇论文证明了这一点。这真是个好消息-自动汇总系统有望减少企业员工阅读邮件的数量，一项调查估计每天需要2.6个小时。
不甘示弱，谷歌大脑和伦敦帝国理工学院的团队构建了一个系统-利用提取的缺口句进行抽象汇总序列到序列(即Pegasus)的预培训-利用Google的Transformers架构与针对抽象文本量身定制的预培训目标代。他们说，它在涵盖新闻，科学，故事，说明，电子邮件，专利和立法法案的12项摘要任务中均取得了最新的成果，并且在低资源摘要方面表现出“令人惊讶”的表现，超过了之前的最高水平。六个数据集的结果只有1,000个示例。
正如研究人员所指出的那样，与执行技术相比，文本摘要旨在从输入文档中生成准确而简洁的摘要。抽象汇总不仅可以复制输入中的片段，还可以产生新颖的单词或覆盖主要信息，从而使输出在语言上保持流利。
变压器是一种神经结构，由Google AI研究部门Google Brain的研究人员在论文中介绍。与所有深层神经网络一样，它们包含布置在相互连接的层中的功能(神经元)，这些功能从输入数据传输信号并缓慢调整每个连接的突触强度(权重)，这就是所有AI模型如何提取特征并学习进行预测的方式。但是变形金刚独特地受到关注。每个输出元素都连接到每个输入元素，并且它们之间的权重是动态计算的。
团队设计了一项培训任务，其中掩盖了文档中整个且可能很重要的句子。人工智能必须通过利用网络和新闻文章来填补空白，包括研究人员编写的新语料库(HugeNews)中包含的那些文章。
在实验中，研究小组选择了性能最佳的Pegasus模型(该模型具有5.68亿个参数或从历史数据中学习到的变量)接受了从3.5亿个网页中提取的750GB文本(通用抓取)或HugeNews(涵盖15亿个)从新闻和类似新闻的网站收集的文章总计3.8TB。 (研究人员说，在HugeNews的情况下，使用了从高质量新闻发布者到质量较低的站点的白名单域来植入网络爬虫工具。)
研究人员说，Pegasus在流利度和连贯性方面取得了很高的语言质量，并且不需要采取对策来减轻流离失所。此外，在资源匮乏的环境中，只有100篇示例文章，它生成的摘要的质量与在20,000到200,000篇文章的完整数据集上训练过的模型相当。