Facebook的VizSeq是一个用于文本生成的可视化分析工具包

 
数据科学家通常依靠指标来评估机器翻译，文本摘要和图像字幕机器学习算法。但问题是，所讨论的指标并不总是与人类评估的结果一致。这就是斯坦福大学和Facebook人工智能研究所的研究人员提出VizSeq的原因，他们将其描述为一个视觉分析工具包，用于对一系列文本生成任务进行实例和语料库级测试。
它在GitHub上以开源形式提供。
“机器翻译的自动评估通常仅限于说明系统错误模式……这表明有必要检查详细的评估示例，以全面了解系统行为，并寻求改进方向，”研究人员在预印本研究中写道。描述VizSeq的论文。 “我们希望提供一个统一的，可扩展的解决方案，摆脱所有这些限制，并通过用户友好的界面以及最新的[自然语言处理]技术得到增强。”
为此，VizSeq可以摄取多个数据源，包括文本，图像，音频和视频，同时为Jupyter笔记本和Web应用程序界面中的探索提供可视化。在测试方面，其套件包括BLEU，NIST，METEOR，TER，RIBES，chrF和GLEU，用于评估机器翻译; ROUGE用于摘要和视频描述;用于图像字幕的CIDEr;和语音识别任务的单词错误率。此外，VizSeq使用Facebook的PyTorch实现了基于嵌入的指标，如BERTScore和LASER，旨在捕获文本生成模型输出之间的语义相似性。
VizSeq可以在本地部署或部署到公共服务器上，用于集中数据托管和基准测试，通过特殊的文件夹结构组织数据。当新样本进入时，它会预先计算分数并自动将它们缓存到存储中。同时，文件监控和版本控制系统检测更改并触发必要的更新，以支持AI模型培训期间的评估。
VizSeq的Web应用程序界面具有数据上传模块和任务和数据集浏览模块，Jupyter笔记本界面直接从Python变量获取数据。对于分析模块，它支持具有句子标签的示例分组(例如，用于识别的语言和长句子的标签)，其可以是用户定义的或机器生成的。
内置查看器提供了句子级别分数的示例，VizSeq能够按度量，源句长度和其他顺序进行排序。只需单击一下，即可将这些和其他统计信息导出为PNG或SVG图像和表格，并将其导出为逗号分隔值文件。
VizSeq在首次发布时功能相当全面，但研究人员表示，工作既活跃又持续。他们留待未来的工作，实现图像到文本和视频到文本的对齐，添加人工评估模块，以及将VizSeq与流行的文本生成框架集成，包括fairseq，openmnt和tensor2tensor。
VizSeq的发布是继去年1月Facebook开源图像处理库Spectrum，去年年底推出自然语言处理建模框架PyText以及11月推出AI强化学习平台Horizo​​n之后发布的。最近，该公司推出了Pythia，这是一个模块化的即插即用框架，可以让数据科学家快速构建，复制和基准测试AI模型，以及一个名为Axe的机器学习实验工具。