本文为University POLITEHNICA of Bucharest Bucharest, Romania在2021.05.20更新的文章，主要研究领域为video-to-speech。
具体的链接：https://arxiv.org/pdf/2105.09652.pdf


其实就是唇语识别+语音合成。搜了一下唇语识别app,都已经下架了，目前合法落地还是在健康医疗，帮助失语人员


1 研究背景
这篇文章video-to-speech也是lip-to-speech,本文的贡献是添加speaker embedding对合成发音人的控制，也可以合成unseen的发音人。另外本文也对vedio的信息进行解耦，把speaker信息给过滤掉。


2 详细设计
图1为本文的详细设计，因为video的帧和语音的帧设计成1对1，因此仅仅使用tacotron2的decoder，不需要attention。video主要使用ResNet网络进行处理。另外，本文添加了speaker embedding对多说话人进行控制。另外本文提到原始的video是包含了speaker 信息，因此使用speaker classifier进行speaker信息的过滤，比如使用梯度翻转等等。


3 实验
本文对比了现有的方案和本文方案几种变种，本文在PESQ和WER指标最好。图2左图展示原始video带有speaker信息，右图是把speaker embedding进行平均合成的语音，说明speaker embedding有效。table2和table3对本文方案进行对比。



4 总结
本文的video-to-speech支持多说话人合成以及unseen speaker的合成。