Xmart青年论坛由上海交通大学跨媒体语言智能实验室(SJTU X-LANCE lab)创办,中国计算机学会语音对话专委会主办,语音之家协办,旨在邀请国内外优秀的青年学者分享其最新科研工作和成果,促进多元且深入的交流与合作。Xmart学生论坛作为其中一个系列,致力于邀请国内外知名高校有成体系工作的研究生,主要通过线上分享的方式,系统地介绍其科研成果和心得,为青年学生打造一个学术探讨,思维碰撞和多学科交叉融合的平台。

Xmart•学生论坛丨于文一:通用音频大模型:从通用感知到听说一体

形式:线上

时间:10月23日(周四) 14:00 ~ 16:00


报告嘉宾

于文一,清华大学在读博士生,导师是张超助理教授。主要研究方向包括音视频大模型、二阶优化等,以第一或共同第一作者身份在ICASSP、InterSpeech、ICLR、ICML、NeurIPS、等国际会议发表论文多篇,为多模态大模型开源项目SALMONN的主要贡献者之一。

报告摘要

大模型的出现使通用人工智能的发展迎来了曙光,在语音音频领域,出现了从聚焦语音识别、音频理解、语音合成等独立的研究领域,转向构建一个能统一感知、理解、生成各类音频的通用大模型。本报告聚焦于此,探讨如何从实现对语音、音频、音乐等各类声音的“通用听觉”能力,进一步进化到“听说一体”的统一双工交互框架,实现更类人更自然的语音交互。希望通过本报告,与听众共同交流构建通用音频大模型涉及的关键技术、核心挑战以及未来的发展方向。

参加方式

①

直播将通过语音之家微信视频号进行直播

手机端、PC端可同步观看

👇👇👇

②

腾讯会议参加

会议号:153-518-669