谷歌的Translatotron是一种模仿人类声音的端到端模型

 
昨天，Google AI分享了有关Translatotron的详细信息，Translatotron是一种能够将人的语音直接翻译成另一种语言的实验性AI系统，这种方法允许合成翻译一个人的声音以保持原始说话者的声音。
传统上，语音翻译使用自动语音识别将语音转换为文本，应用机器翻译，然后使用文本到语音来产生翻译，但Translatotron是一种端到端的翻译模型。研究人员表示，Translatotron可以比传统的级联模型更快地完成翻译并减少并发症。
“据我们所知，Translatotron是第一个能够将语言从一种语言直接翻译成另一种语言的语音的端到端模型。它还能够在翻译的演讲中保留源音箱的声音，“关于该主题的博客文章读取。
用于测量机器翻译质量的BLEU分数发现实验Translatotron的质量低于传统级联系统，但Translatotron实现了比基线级联翻译更准确的翻译。
机器翻译的端到端模型的出现始于法国研究人员于2016年在NeurIPS上接受的论文。
为了使Translatotron能够进行端到端翻译，研究人员使用序列到序列模型和光谱图作为输入训练数据。扬声器编码器网络用于捕获说话者语音的字符，并且多任务学习用于预测源和目标说话者使用的单词。
Translatotron在今天发表的一篇题​​为“使用序列到序列模型的直接语音到语音翻译”的论文中有更详细的说明。
Translatotron的发布是在谷歌推出SpecAugment一个月之后发布的，这是一种AI模型，它使用计算机视觉和各种技术来理解来自光谱图像的文字。
Translatotron可以应用于谷歌助手的翻译模式，它在1月份首次亮相家庭音箱。口译员模式能够以27种语言收听和提供语音到语音的翻译。像谷歌和微软这样的公司也在使用他们的语言翻译印章来赢得iOS用户。
Translatotron是谷歌机器翻译和语言处理的最新进展。
上周在谷歌的I / O开发者大会上，谷歌分享了它通过智能手机缩减其经常使用神经网络和语言理解模型进行设备上机器学习，使Google智能助理的速度提高了10倍。谷歌还推出了Lens翻译，因此您的相机可以翻译100多种语言。