声明：平时看些文章做些笔记分享出来，文章中难免存在错误的地方，还望大家海涵。搜集一些资料，方便查阅学习：http://yqli.tech/page/speech.html

语音合成领域论文列表请访问http://yqli.tech/page/tts_paper.html

语音识别领域论文统计请访问http://yqli.tech/page/asr_paper.html

如何查找语音资料请参考文章https://mp.weixin.qq.com/s/eJcpsfs3OuhrccJ7_BvKOg）

如有转载，请注明出处。欢迎关注微信公众号：低调奋进

文章作者：李永强


一、介绍

相对于传统的混合模型的ASR，端到端E2E的ASR系统具备以下优点：1）混合模型的每个模块优化都是单独优化，不能保证获取全局最优，而E2E的ASR使用一个优化函数来优化整个网络；2）E2E的ASR直接输出character或者words，简化流程；而混合模型的每个模块都需要相应的专业知识；3）相对于混合模型，e2e模型使用一个网络进行识别，整个系统更加紧凑，可以更便捷在设备上部署。虽然端到端的ASR具备以上优点，而且在很多benchmarks超过混合模型，但混合模型在工业界依然占据主要市场。混合模型在工业界发展数十年，在streaming,latency,adaptation capability,accuracy等方面的方案技术有较厚的积累，e2e的asr要想替代混合模型，必须在以上诸多方面超越混合模型。本文为了促进e2e的asr方案落地，从工业界的角度对近年来的e2e的方案进行总结，更好的应对以上的挑战。


二、端到端模型（end-to-end models)

现在主流的E2E的ASR模型主要包括 a)CTC (connectionist temporak classification) b) AED(attention-based Encoder-Decoder) c)RNN-T(recurrent neural network Transducer 。其主要网络结构如图一所示


其中CTC的结构如图1（a)所示，本文简单举例ctc path如图2


图1(b)为AED模型，其为了实现streaming方式，需要对attention进行处理，本文列举了AED使用的四种attention,如图3所示


RNN-T主要如图1(c)所示。以上结构详细信息请读者阅读该文章。


三、Encoder

端到端的ASR主要部分encoder,该部分主要把输入信息进行高级的特征表示，本文对encoder使用的结构类型进行总结

A) Lstm

B) Transformer

图5展示了transfomer和目前流行的confomer结构。


为了实现streaming ASR，需要在attention使用mask策略，使其只看到部分的context。图6展示了不同的attenion及对应的mask矩阵。


四、其它的训练准则

A) teacher-student learning

B) Minimum Word Error Rate Traing


五、多语言模型

本部分主要介绍多语言模型以及方案，主要介绍了使用语言ID（LID)的优劣和CMM方案，以及code-switching在句内和句间的挑战。


六、自适用

A) speaker adaptation

主要使ASR在对应的个人效果更好，常用的方案使用speaker embeddings对应的语料进行微调，但更多情况下是如何处理每个说话人拥有较少语料。而且本部分也提到如何在用户端进行训练，不需要把用户数据发送到服务端，从而保证用户数据安全。


B）Domain Adaptation

该部分主要介绍Domain Adaptation，其主要介绍使用文本进行LM方案和TTS-based的方案。


C) Customization


七、Advanced Models

A）非自回归模型Non-Autoregressive Models


B) Unified Models

流式和非流式方案的结合，动态计算等等


C)Two-pass Models


D) Multi-talker Models


E）Multi-channel Models


八、多种多样的主题

a) 更多语音的toolkits

b) 系统使用的建模单元：characters,word-piece,words等等

c) limited data，data augmentation, self-supervised等等

d) 模型部署的研究，模型压缩，量化等等

e) asr模型的输入直接使用waveform而不是声学特征等等。

f) 鲁棒性的研究


九、总结

本文列举端到端ASR相比混合模型方案的优势以及劣势。为了促进端到端对混合模型在工业界的替代，本文详细描述了端到端ASR的模型、挑战以及各种解决方案。最后作者也可列举端到端ASR未来的挑战。


本文来源知乎，文章作者：李永强