由CCF语音对话与听觉专委会 、西北工业大学音频语音与语言处理研究组、语音之家、希尔贝壳共同主办的【语音之家】AI技术沙龙 — OSUM：学术界有限资源推进开放语音理解大模型，将于2025年2月27日19:00-20:00线上直播，欢迎大家预约观看。
沙龙简介
大型语言模型（LLMs）在各种下游任务中取得了显著进展，启发了业界对语音理解语言模型（speech understanding language models, SULMs）的开发，以期实现基于语音情感、性别等副语言的高表现力交互。然而，大多数先进的SULMs是由行业头部公司开发的，这消耗了大规模的数据和计算资源，而这些在学术界并不容易获得。此外，虽然训练好的模型和推理代码开源，但训练框架和数据处理流程依然缺乏透明度，这也为进一步研究产生了障碍。为此我们提出了OSUM，一个开放的语音理解模型，旨在探索在有限的学术资源下训练SLUMs的潜力。OSUM模型将Whisper编码器与Qwen2 LLM相结合，支持广泛的语音任务，包括语音识别（ASR）、带时间戳的语音识别（SRWT）、语音事件检测（VED）、语音情感识别（SER）、说话风格识别（SSR）、说话者性别分类（SGC）、说话者年龄预测（SAP）和语音转文本聊天（STTC）。通过采用ASR+X训练策略，OSUM通过同时优化模态对齐和目标任务，实现了高效稳定的多任务训练。除了提供强大的性能，OSUM还强调透明度，我们提供公开可用的代码，并详细介绍了数据处理流程，以期为学术界提供有价值的参考。通过这样做，我们旨在加速先进SULM技术的研究和创新。
报告嘉宾
嘉宾简介：邵琪杰，西北工业大学博士生，主要从事语音识别研究，如多口音、多语种语音识别。研究成果涉及低资源数据表征挖掘、多语种自监督模型、Speech LLM等。OSUM语音理解大模型项目技术负责人。以第一作者身份在IEEE TASLP、Interspeech等期刊和会议发表论文5篇，曾在字节跳动、华为等公司合作研究。
嘉宾简介：耿雪龙，西北工业大学硕士生，主要从事与LLM结合的语音识别和语音理解的研究。OSUM语音理解大模型项目研发骨干。以第一和合作作者发表论文4篇。
沙龙议程
时间：2月27日（周四）19:00 ~ 20:00
形式：线上直播
| 时间 | 报告主题 | 报告人 |
| 19:00-19:30 | OSUM：学术界有限资源推进开放语音理解大模型 | 邵琪杰 |
| 19:30-20:00 | 耿雪龙 |
参加方式
直播将通过语音之家微信视频号进行直播
手机端、PC端可同步观看
👇👇👇
讨论群
扫码添加语音小管家，进入语音之家讨论群
相关链接
论文：https://arxiv.org/abs/2501.13306
代码：https://github.com/ASLP-lab/OSUM/
Demo：https://aslp-lab.github.io/OSUM.github.io/
在线测试：https://huggingface.co/spaces/ASLP-lab/OSUM
活动招募
语音之家沙龙活动系列现面向AI领域线上招募，我们诚挚的邀请您分享您在AI领域的研究成果和经验，相信您精彩的分享将为大家带来全新的思考和启发。期待着您的加入，共同推动AI领域的发展和创新！
联系方式
邮箱：bd@speechhome.com
联系人微信：
