今日论文合集:CS.SD语音与音频 共 20 篇,本文展示前 8 篇

本文经arXiv每日学术速递授权转载,微信公众号:arXiv_Daily

[机构]信息由AI分析生成,可能存在错误,仅供参考,以论文实际显示为准


快速导航

1. 语音合成与声音生成 2 篇

2. 语音翻译与语音语言模型 2 篇

3. 安全、隐私与深度伪造音频 1 篇

4. 其他/综合语音音频 3 篇


1. 语音合成与声音生成 | 2 篇

1. Revise-TTS: A Non-Masking Refinement Framework for Masked Diffusion Models in Text-to-Speech

Revise-TTS:一种用于文本到语音的掩码扩散模型的非掩码细化框架

AI 总结:针对掩码扩散模型TTS的中间预测无法修改导致误差累积的问题,提出Revise-TTS框架,用HBQ替换FSQ并引入GRN,实现可自校正的零样本语音合成,性能具竞争力且可扩展。

链接:https://arxiv.org/abs/2610.19499

机构:HojoAI

作者:Wanli Sun, Dan Su, Anton Ragni


2. Speaking Longer Than Learned: Training-Free Long-Form Generation for Full-Stream Text-to-Speech

超越学习长度:面向全流式文本语音合成的无训练长文本生成

AI 总结:针对全流式TTS模型无法在无额外训练时生成长于训练长度文本的问题,通过分析VoXtream2的缺陷,提出两种无训练修改方案,实现长文本生成时的发音准确性、说话人相似度及自然度的保留。

链接:https://arxiv.org/abs/2610.19553

机构:University of Seoul(首尔大学)

作者:Jeseung Lim, Jiseong Woo, Heeseung Kim


2. 语音翻译与语音语言模型 | 2 篇

3. What Does LALM Post-training Learn? Rethinking Audio Understanding and Reasoning Capabilities

LALM 后训练究竟学到了什么?重新思考音频理解与推理能力

AI 总结:该研究针对 LALM 后训练的实际学习内容开展控制实验,发现其性能提升多源于对特定问题格式的适配,而非真正的音频理解与推理能力,为 LALM 后训练的优化提供了方向。

链接:https://arxiv.org/abs/2610.19476

机构:National Taiwan University(台湾大学); NVIDIA(英伟达); NTU AI-Core(台湾大学AI核心中心)

作者:Hua-Hsuan Chen, Xuanjun Chen, Wei-Chung Lu, Chih-Kai Yang, Yu-Xiang Lin, Sung-Feng Huang, Haibin Wu, Hung-yi Lee


4. TVPara: Paralinguistic Captioning of Expressive TV-Series Speech in Complex Acoustic Environments

TVPara:复杂声学环境下情感电视剧语音的副语言字幕生成

AI 总结:本研究构建了基于电视剧的副语言字幕数据集TVPara,通过微调开源大型音频-语言模型,显著提升了复杂声学环境下的副语言理解能力,且增益可泛化至未见过的电视剧及跨域语音。

链接:https://arxiv.org/abs/2610.19678

机构:Tsinghua University(清华大学); Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)

作者:Ziyang Zhang, Wenyi Yu, Wen Wu, Xuenan Xu, Chao Zhang


3. 安全、隐私与深度伪造音频 | 1 篇

5. An Initial Study of Physiological Markers for Deepfake Speech Detection

用于Deepfake语音检测的生理标记物初步研究

AI 总结:该研究针对传统Deepfake语音检测器在未知场景下性能下降的问题,提出用36个分属呼吸、发声、时间类别的手工生理标记物检测,经实验验证其为Deepfake语音检测提供了有用可解释的信号。

链接:https://arxiv.org/abs/2610.18934

机构:Brno University of Technology(布尔诺理工大学)

作者:Vojtěch Staněk, Michal Frič, Kamil Malinka, Anton Firc


4. 其他/综合语音音频 | 3 篇

6. From Detection To Anticipation: Continuous Onset Forecasting For Stuttered Speech

从检测到预判:口吃的连续 onset 预测

AI 总结:本研究将口吃预测建模为连续因果时间-事件预测,基于Whisper-large-v3和因果Conformer模型,在FluencyBank Timestamped数据集上实现0.63的AUROC,为预判口吃系统提供了基础。

链接:https://arxiv.org/abs/2610.19235

机构:School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院); College of Health Solutions, Arizona State University(亚利桑那州立大学健康解决方案学院)

作者:Tampu Ravi Kumar, Ayoub Daliri, Vivek Gupta


7. Point-and-Play: Instrument Timbre Cloning from Music Mixtures

即点即玩:从音乐混合信号中克隆乐器音色

AI 总结:本研究提出Point-and-Play系统,可直接从复调混合信号中克隆提示源的音色并合成新音高和力度,其性能优于先分离后克隆的基线方法,与从干净独奏乐器克隆的性能相当。

链接:https://arxiv.org/abs/2610.19445

机构:University of Rochester(罗切斯特大学)

作者:Baotong Tian, Zhiyao Duan


8. Soloist: A Generative Model for Blind Voice Separation in the Wild

Soloist:用于野外盲语音分离的生成模型

AI 总结:Soloist是一种无需目标说话人查询或预定义语音数量的盲语音分离生成模型,通过两阶段训练结合强化学习,可在真实场景中有效分离重叠、带噪语音及音乐中的人声,还可集成到对话处理流水线中。

链接:https://arxiv.org/abs/2610.19716

作者:Chen Yang, ChuFan Yu, Botian Jiang, Jingqi Chen, Wenxuan Wang, Yitian Gong, Zhaoye Fei, Xipeng Qiu

受公众号正文长度限制,本文展示前 8 篇,当天共更新 20 篇。完整列表请访问 arXivDaily。