Google详细介绍了Project Euphonia更具包容性的语音识别背后的AI工作

 
作为可访问性新努力的一部分，Google于5月在I / O上宣布了Euphonia项目：尝试使语音识别能够理解具有非标准语音或障碍的人。该公司刚刚发布了一篇文章及其论文，解释了启用新功能的一些AI工作。
问题很容易观察：运动障碍者的说话声音，例如由肌萎缩侧索硬化症(ALS)等退行性疾病产生的声音，现在的自然语言处理系统并不能理解。
您可以在以下Google研究科学家Dimitri Kanevsky的视频中看到它的实际情况，他自己的言论受损，试图与公司自己的产品之一进行互动(最终在相关工作Parrotron的帮助下这样做)：
研究小组将其描述如下：
ASR [自动语音识别]系统通常由“典型”语音训练，这意味着代表性不足的群体，例如具有语音障碍或重口音的群体，不会经历相同程度的效用。
…目前最先进的ASR模型可以为ALS只有中等语音障碍的扬声器产生高误码率(WER)，从而有效地禁止访问ASR依赖技术。
值得注意的是，他们至少部分归咎于训练集。这是我们在AI模型中发现的隐含偏差之一，可能导致其他地方的高错误率，如面部识别甚至注意到一个人在场。虽然未能包括像皮肤黝黑的人这样的主要群体，但在规模上与构建不包含受影响语言的系统相当的错误并不是一个错误，它们都可以通过更具包容性的源数据来解决。
对于Google的研究人员来说，这意味着从患有ALS的人那里收集数十小时的语音。正如您所预料的那样，每个人受其状况的影响都不同，因此容纳疾病的影响与容纳(例如，仅仅是不常见的口音)的过程不同。
使用标准的语音识别模型作为基线，然后以几种实验方式进行调整，在新音频上进行训练。仅这一点就大大降低了单词错误率，并且对原始模型的改变相对较小，这意味着在调整到新语音时不需要大量计算。
研究人员发现，当模型仍然被给定的音素混淆时(那个单独的语音听起来像“e”或“f”)，它有两种错误。首先，事实是它不能识别出预期的音素，因此无法识别这个词。第二，模型必须猜测说话者想要哪个音素，并且在两个或多个单词听起来大致相似的情况下可能选择错误的音素。
第二个错误尤其是可以智能处理的错误。也许你会说，“我要回到屋内了”，系统无法识别后面的“b”和内部的“h”;您打算说“我要在鼠标内部进行操作”也不太可能。人工智能系统可能能够使用它所知道的人类语言 – 以及您自己的声音或您说话的环境 – 聪明地填补空白。
但这留给了未来的研究。目前，您可以阅读该团队目前在“个性化ASR for Dysarthric and Accented Speech with Limited Data”的论文，该文件将于下个月在奥地利举行的Interspeech会议上发布。