当前广泛流行的基于 LLaVA 结构的多模态大语言模型(LMM: Large Multimodal Model)在视觉任务上表现出色,然而因为训练中需要对内嵌的语言模型进行微调,常常会显著削弱其在自然语言任务(NLP)上的能力,具体来说,模…
声浪
360提出冻结语言模型训练LMM新范式,无损获取多模态理解与Grounding能力
37 0 0
超10万小时的语音生成数据集 Emilia 现已开放下载!
上个月,香港中文大学(深圳)联合中国科学院声学研究所、上海人工智能实验室等机构推出了涵盖6种语言、超过10万小时的多样化语音生成数据集——Emilia,并在 GitHub 平台上开源了数据预处理框架 Emilia-Pipe。 详情请见:6种…
27 0 0
IEEE T-ASLP | 基于自适应神经网络量化的轻量级说话人确认系统
说话人确认旨在根据说话人声音的生物信息来确定话者的身份。该项技术在语音识别、语音合成、特定说话人语音提取等领域有重要的应用价值。当前主流的说话人识别系统是基于神经网络的,通常需要昂贵的存储和计算资源,从而阻碍了它们在移动设备上的部署。 近期…
43 0 0
音频相关学术论文整理
本文整理了一些近期发表的关于音频在不同行业的应用相关论文,供大家了解科研进展。 来源丨21dB声学人 1.揭示旋律矩阵:使用机器学习技术探索数字音乐流行中的流派和音频动态 出版日期:2024-08-26 DOI:10.1108/mip-04…
20 0 0
ACM MM | UniStyle: 联合说话风格描述和风格化语音生成的风格建模
说话风格(speaking style)可以通过文字形式表达,称为风格描述;也可以通过语音表达,称为风格语音(stylistic speech)。理解说话风格,例如对话中的情绪,并以适当的风格回应,是人类对话中的自然现象。然而,从技术角度来…
79 0 0
