Facebook发布低延迟在线语音识别框架

 
Facebook AI Research(FAIR)今天表示，它的开源wav2letter @ anywhere是一种基于深度学习的推理框架，可在云或嵌入式边缘环境中实现在线自动语音识别的快速性能。 Wav2letter @ anywhere基于基于神经网络的语言模型wav2letter和wav2letter ++，在2018年12月发布时，FAIR称之为可用的最快的开源语音识别系统。
自动语音识别(ASR)用于将口头语音转换为文本，然后推断出说话者的意图以执行任务。尽管通过wav2letter ++存储库在GitHub上可用的API旨在支持并发音频流和流行的深度学习语音识别模型，例如卷积神经网络(CNN)或递归神经网络(RNN)，以便提供在线ASR所需的规模。
根据来自纽约市实验室和门洛帕克公司总部的八名FAIR研究人员上周发布的一篇论文，Wav2letter @ anywhere比双向LSTM RNN制成的两个基线模型具有更好的字错误率性能。双向LSTM RNN是当今控制延迟的一种流行方法。
研究人员说：“该系统的吞吐量几乎是经过优化的混合ASR基准的三倍，同时还具有更低的延迟和更好的字错误率。” “虽然延迟控制的双向LSTM通常用于在线语音识别，但是将未来的上下文与卷积结合在一起可以产生更准确和更低的延迟模型。我们发现TDS卷积可以在有限的未来情况下维持较低的WER。”
通过改进称为时间深度可分离(TBS)卷积声学模型的技术，这些进步才有可能实现.TBS卷积是Facebook去年秋天在Interspeech 2019上提出的一种方法，可以减少延迟并在LibriSpeech上提供最先进的性能。收集1000个小时的英语口语数据。
用于语音推理的CNN偏离了自然语言模型的趋势，后者倾向于循环神经网络或基于Transformer的模型，例如Google的Transformers双向编码器表示(BERT)或高性能。可分离模型可能以其在计算机视觉中的应用而闻名，例如Google的MobileNet。
wav2letter @ anywhere的发布是在发布用于图像和语言模型的Pythia框架之后，以及用于在线语音识别的wav2vec和基于Google BERT的RoBERTa等新颖作品，该模型在GLUE基准测试中排名第一。今年夏天排行榜，但此后跌至第8位。