声浪

语音小管家

转载2 years ago

语音合成与音频理解：自回归量化连续语音合成，潜在扩散模型；多模态音频理解基准 Continuous Speech Synthesis using per-token Latent Diffusion 2024-10-21｜IBM Resea…

语音小管家

转载2 years ago

来源丨量子位 Transformer自问世后就大放异彩，但有个小毛病一直没解决：总爱把注意力放在不相关的内容上，也就是信噪比低。微软亚研院、清华团队提出全新改进版 Differential Transformer，专治这个老毛病，引起热议。…

语音小管家

转载2 years ago

来源丨新智元 CGPO框架通过混合评审机制和约束优化器，有效解决了RLHF在多任务学习中的奖励欺骗和多目标优化问题，显著提升了语言模型在多任务环境中的表现。CGPO的设计为未来多任务学习提供了新的优化路径，有望进一步提升大型语言模型的效能和…

语音小管家

转载2 years ago

来源丨新智元 清华大学推出的SonicSim平台和SonicSet数据集针对动态声源的语音处理研究提供了强有力的工具和数据支持，有效降低了数据采集成本，实验证明这些工具能有效提升模型在真实环境中的性能。 论文地址：https://arxiv…

语音小管家

转载2 years ago

此前，硅基流动SiliconCloud上线了语音识别模型SenseVoice-Small（可免费使用），让开发者可以通过API（兼容OpenAI的API协议）快速接入到语音转文字类应用场景。 在获得Fish Audio商业授权后，Silic…

语音小管家

转载2 years ago

近年来，视觉语言模型（VLM）取得了显著进展，训练数据的规模扩展以及数据质量的提升是提升模型性能的关键因素。目前主要的获取数据方式为通过人工对数据进行收集和标注以及利用模型对指令进行合成，业内也有许多工作专注于此。然而，现有的开源数据和指令…