近年来，音频语言大模型（LALM）与端到端全模态交互飞速进化，机器不仅能识别人声，还能感知环境声与音乐。然而，大多数LALM仍停留在单声道的平面世界里。它们能回答“发生了什么”，却无法判断：婴儿哭声是在卧室还是走廊？水流声和脚步声谁离我更近？当客厅电视正在播报、而浴室传来重物倒地声时，应该先关注哪一个？要让智能家居助手、具身家庭机器人真正落地，系统不仅要“听见”，更要在三维空间与时间流中听辨方位、关联多源、做出安全决策！

ICASSP 2027 Grand Challenge—Real-world Multi-hop Spatial Audio Question Answering（RMS-AQA）现已启动，诚邀全球研究者共同参与，共同探索空间音频理解与智能问答技术的新方向。

赛事亮点

🌟亮点1：真实多房间多通道空间音频基准

挑战赛全面采用一阶高保真立体声（FOA）音频：

  • 全真实测试场景：隐藏测试集全部由专业全景音频采集设备（Zoom H3-VR）在客厅、厨房、卧室、卫浴等真实家居房间实地录制，涵盖多声源并发、动静态移动声源与真实混响。
  • 大规模高保真训练集：提供多达17.7万条10秒多通道空间音频样本，融合实测空间房间脉冲响应，兼顾训练规模与高声学保真度。

🌟亮点2：两阶段多步机制，告别玄学蒙题

RMS-AQA创新性地构建了显式两阶段问答协议：

  • 第一阶段是声学事件识别：模型必须准确预测音频中发出的声音事件类别；
  • 第二阶段是复杂空间音频推理：回答空间方位、时序关系或行动决策问题。

只有两阶段均回答正确，系统才算得分。这一机制杜绝了模型依靠统计偏见“瞎猜”，并提供了清晰的错误归因诊断能力。

🌟亮点3：覆盖六大推理维度

赛事深入考查系统在6大核心认知维度的综合能力：

  • 声音计数（Sound Counting）：并发声源数量、时间窗内特定瞬态事件统计。
  • 声源定位（Source Localization）：绝对方位、距离、运动轨迹与角度变化。
  • 时序检测（Temporal Detection）：起止时间点、事件持续时长与阈值过滤。
  • 空间关系（Spatial Relation）：谁近谁远、从左到右排序、声源相对位移。
  • 时序关系（Temporal Relation）：先后次序、重叠区间、因果先后关联。
  • 行动预测（Action Prediction）：结合风险等级做出符合常识的决策。

基线系统与评估指标

本次挑战赛提供了多个开源基线，提出轻量级即插即用的空间插件，无需全参数微调庞大的多模态大模型底座，即可直接在冻结的大模型（如Qwen3-Omni、Audio Flamingo 3、MiDashengLM等）中注入4通道FOA空间表征，轻量高效。

任务全部为四选一单选题，每个样本需同时预测第一阶段和第二阶段问题的选项标签，主排名指标为具证推理准确率，即系统必须在第一阶段准确识别声学事件（感知有据），并且在第二阶段完成正确的空间/时序/行动推理，才能计为有效得分。排行榜将同步公开两个阶段的独立准确率及六大子类别的细分准确率。

重要时间节点

  • 2026年9月1日：赛事网站及报名通道开放
  • 2026年9月10日：模拟训练/开发数据发布
  • 2026年9月24日：真实开发数据和基线系统发布
  • 2026年11月24日：真实测试数据发布
  • 2026年12月10日：系统提交截止
  • 2026年12月24日：赛事结果发布
  • 2027年1月7日：受邀2页论文提交截止
  • 2027年1月21日：2页论文录用通知
  • 2027年1月28日：终版论文提交
  • 2027年5月16日至21日：ICASSP 2027 RMS-AQA挑战赛专场研讨会

参赛方式 & 资源链接

赛事网站：https://rmsaqachallenge.github.io/

基线代码：https://github.com/rmsaqachallenge/rmsaqa-code

数据下载：https://huggingface.co/datasets/PeacefulData/RMS-AQA

报名入口：https://forms.gle/vpWYdEp3i6kHX7hV8

联系方式：rmsaqa.2027@gmail.com

组织者

  • Qing Wang（University of Science and Technology of China）
  • Peihao Chen（University of Science and Technology of China）
  • Hengyi Hong（University of Science and Technology of China）
  • Jun Du（University of Science and Technology of China）
  • Lichun Fan（Xiaomi Corporation）
  • Hang Su（Xiaomi Corporation）
  • Jian Luan（Xiaomi Corporation）
  • Yufeng Hao（DataoceanAI）
  • Yujie Jian（DataoceanAI）
  • Ke Li（DataoceanAI）
  • Zhifeng Kong（NVIDIA）
  • Chao-Han Huck Yang（NVIDIA）
  • Mengyao Zhu（Soochow University）
  • Shichao Hu（Soochow University）