ICASSP 2023 论文预讲会是由CCF语音对话与听觉专委会、语音之家主办，旨在为学者们提供更多的交流机会，更方便、快捷地了解领域前沿。活动将邀请 ICASSP 2023 录用论文的作者进行报告交流。
ICASSP 2023 论文预讲会第九期邀请到天津大学天津市认知计算与应用重点实验室做本次会议的专场分享，欢迎大家观看。
实验室概况
天津大学天津市认知计算与应用重点实验室围绕国家重大需求，充分发挥信息科学、生命科学和数理科学的交叉优势，从人类的视听觉及认知机理出发，研究并构建新的计算模型与计算方法，克服图像、语音和文本（语言）信息处理所面临的瓶颈困难。本次交流简单介绍重点实验室在言语交互意图理解方向的研究思路及进展。
下面是预讲会的回顾：
在预讲会上简单介绍了天津大学天津市认知计算与应用重点实验室在言语交互意图理解方向的研究思路及进展。
分享主题：面向文本无关说话人识别的跨模态视听协同学习摘要：本文针对视觉语音（唇动）和听觉语音进行了跨模态的研究。由于在语音生成过程中，唇动和听觉语音是对应产生的时序序列且都包含丰富的个性化身份信息，本文针对两者之间的紧密联系进行了跨模态的研究，提出了协同学习的策略，将原始模态的信息转换到另一模态的特征空间构建，以获取新的信息。本文发布了多场景视听语音数据库，并在此基础上进行了系列实验。实验结果证明所提方法能有效提高系统性能，具备良好的鲁棒性。
史昊
分享主题： 多分辨率频率编码器和解码器辅助的时域语音增强摘要：研发团队在最近的工作中发现DEMUCS引入了多分辨率频域损失以提高性能。然而，用于计算损失的频域包含非平稳信号，并且仅使用一个输出同时学习多分辨率频域损失具有挑战性。为了更好地使用多分辨率频域信息，我们将不同帧长度的多个语谱图补充到时域编码器中。他们提取窄带和宽带中的固定频域信息。我们还采用多个解码器输出，每个解码器计算其相应的分辨率频域损失。实验结果表明：（1）在编码器中融合稳态频域信息比非稳态信息更有效，（2）与频域损失一致的多个输出提高了性能。刘晓晖
分享主题：利用位置相关的局部-全局依赖进行合成语音检测摘要：本文重点研究了基于位置相关的局部-全局依赖的合成语音检测算法。针对当前算法获取全局依赖时具有效率较低、信息损失较大的缺点，本文使用二维卷积和Transformer 分别捕获待检测语音的局部和全局可鉴别信息。具体来说，本文提出了通过添加位置信息和扁平化策略来整合局部-全局依赖的Positional Aggregator，有效减小了信息损失。此外，本文引入了挤压-激发操作以更好地获得局部依赖。实验结果证明所提方法与最先进的单系统相比准确性与泛化性都有显著提升。
孙瑶
摘要：为了解决说话人识别系统的性能在嘈杂的噪声场景中大幅下降的问题，研究团队提出通过将对带噪语音进行解耦和度量学习相结合来减少说话人无关信息并建立噪声不变的嵌入空间。解耦模块包括说话人编码器和重构模块。说话人编码器对带噪语音解耦得到说话人相关表征，重构模块提高了系统对噪声信息的约束能力。实验结果证明所提方法在已知和未知噪声场景下都能有效提升系统性能，具备较好的鲁棒性和泛化性。分享主题：基于语音噪声双流谱改善网络使用语音失真损失函数的鲁棒语音识别摘要：研发团队探讨了前后端联合训练的鲁棒语音识别系统，并研究了损失函数的权重和语音失真对ASR性能的影响。实验结果表明，联合训练系统的性能高度依赖于各损失的相对权重，而语音增强网络会引入语音失真。提出了一种轻量级语音和噪声双流频谱图细化网络，该网络具有减少语音失真的联合训练框架，通过重用增强语音和预测噪声来估计残差值，从而抵消残余噪声，并恢复失真语音。设计了一个加权的语音失真损失来同时控制语音失真和残余噪声。此外，论文提出的方法实现简单，计算开销小。最终结果表明，该方法相对降低了8.6%的CER。分享主题：面向L3DAS23挑战赛的通道流注意力机制网络摘要：近年来,虚拟场景中的3D音频应用越来越受到机器学习研究界的关注。本文提出了一种基于流注意力机制的U型网络,用于增强空间音频信号。首先,我们在基线模型的编码器部分加入了长短期记忆网络,以更好地进行时序建模。然后,针对空间信息的学习,我们将每个麦克风的四个通道视为独立的流,并在流之间执行流注意力机制计算。我们提出的方法超过了官方提供的基准模型和我们选择的其他基准模型。最终,在仅有音频输入的场景中,我们的方法取得了第三名的成绩。
ICASSP 2023 论文预讲会面向全球线上招募，结合定向邀请与自选投稿的方式，来选择预讲会的嘉宾
为了共创高质量的论文预讲会，我们诚挚邀请所有 ICASSP 2023 作者参与到会议中来，也欢迎大家推荐适此会议论文分享的学者。
投稿邮箱
jack@speechhome.com
联系人微信
