微软的AI通过密切关注开始来提高文本摘要性能

 
《纽约时报》的新闻特刊肯定会与一般Reddit帖子的色调有所不同。确实，写作风格和语法结构的多样性使得自动文本摘要的任务具有很高的挑战性。这就是为什么来自匹兹堡和微软研究院的未来社会经验(FUSE)实验室的研究人员开发了一个AI系统，该系统密切关注正在汇总的文档的开始，该实验室致力于实时和丰富的媒体体验。该团队表示，这种方法提高了实验性能，尤其是在Web论坛内容以及更通用形式的文本数据的情况下。
这项研究是在Microsoft Research研究发布之后进行的，该研究详细介绍了能够推理“弱结构”文本中的关系的“灵活” AI系统。共同作者声称，在一系列文本摘要任务上，它的性能可能优于传统自然语言处理模型。
正如研究人员所指出的那样，论坛讨论线程通常以寻求知识或帮助的帖子或评论开头，随后的评论倾向于通过提供其他信息或意见来响应原始帖子。通常，此初始文本包含重要的主题信息，可能对总结有用。
拟议的AI受益于原始帖子和回复之间的依存关系，但它也试图剔除无关或表面的回复，以确保它们不会降低摘要的质量。
研究人员根据两个摘要语料库准备和评估了他们的模型：一个来自TripAdvisor论坛，其中包含700个线程(其中500个用于培训，另外200个用于验证和测试)，另一个包含532个跨主题的Microsoft Word文档(其中266个) ，138和128分别用于培训，验证和测试)。 AI吸收了从每个句子以及整个文档的句子级别表示中提取的关键字，从而使其能够了解文本文档中哪些句子是显着的，并使用这些句子生成摘要。
将来，研究人员计划将更多的通用数据集纳入培训和测试阶段，以进一步验证其方法。他们还计划从通用文档的初始部分改变模型吸收的句子数量。
他们在一份详细阐述其工作的论文中写道：“我们通过在普通文本数据中关注前几句话来利用在文本中早期引入重要信息的趋势。” “评估表明，使用双向注意来参加入门句子可以提高提取摘要模型的性能(即使将其应用于文本数据的更通用形式时也是如此)。”