最近,像豆包、千问 Omni等新一代语音对话模型的惊艳表现引发了广泛关注,它们展示了极其流畅的 语音交互能力。另一方面,具备“听、看、说”的智能眼镜也犹如雨后春笋般的越来越普及。然而,这些模型大多仍依赖于较为理想的使用环境。戴上 AI 智能眼镜,“行走的大模型”的“自然交互”还能否经受住真实世界的考验?

目前的语音处理系统在面对智能眼镜带来的独特挑战时,依然面临瓶颈:智能眼镜随佩戴者穿梭于办公室和嘈杂街头等高度动态的声学环境中;在真实的社交场景下,系统不仅要应对第一视角下的复杂非稳态噪声,更要处理频繁的抢话、重叠以及长篇幅的语用逻辑。这正是目前穿戴式语音系统从“演示”走向“商用”必须跨越的难题。

为了打破这一瓶颈,推动技术迈向真实的“类人”交互水平,由西北工业大学 ASLP 实验室联合上海交通大学、南京大学、中国科学技术大学、南洋理工大学、华为、希尔贝壳、Rokid等多家单位,发起 SmartGlasses (Egocentric Speech Interaction on AI Glasses) 挑战赛。首届挑战赛将在语音旗舰会议 IEEE SLT 2026 上举办。

竞赛目标

智能眼镜的独特优势在于其天然的“第一视角(Egocentric)”属性,它能够以非侵入式、解放双手的方式,全天候捕捉佩戴者的真实声学环境与交互过程。然而,这种高度的移动性引入了复杂多变的噪声与干扰;同时,真实社交中的随意性、频繁重叠与多角色交织,也让传统的语音理解系统难以招架。

基于此,本次挑战赛的核心目标是:依托 AI 智能眼镜这一前沿穿戴载体,填补真实场景下语音交互评测的基准空白。 我们致力于推动参赛系统解决复杂动态环境下的前端声学处理与鲁棒识别难题,并攻克真实人际交互中深层语义理解的瓶颈,从而加速穿戴式 AI 向‘真实场景落地’的全面跨越。

数据集

赛事即将发布的智能眼镜数据集包含了超 100 小时的 4 通道音频记录,完全在真实场景中使用AI眼镜录制。为了确保评估的全面性和公正性,该数据集涵盖了各种声学环境、不同的交互音量、多样的用户群体,并引入了极具挑战性的多说话者对话场景。

赛道设置

本次挑战赛聚焦两大核心社交交互场景,并针对每个场景从声学识别与语义理解两个维度进行深度评测。所有评测数据均基于商用 AI 眼镜在真实物理环境中采集。

赛道 1:双人对话理解

本赛道聚焦佩戴者与另一人的日常面对面交流,场景涵盖从安静室内到嘈杂户外等多种物理环境,重点考察系统在高度动态环境下的综合语音处理能力。

  • ASR 维度:要求模型具备强大的鲁棒性,能够从佩戴者的第一视角音频中,精准分离并转写出双方的对话内容。系统需要有效克服由佩戴者移动和开放环境带来的噪声干扰,并实现精准的说话人日志。
  • SLU 维度:侧重于评估模型在自然口语表达下的语义解析能力。要求系统能够在真实交谈中准确捕捉事实细节,并在存在噪声干扰的情况下追踪对话的逻辑流向。

赛道 2:多人会议理解

本赛道聚焦佩戴者参与的多人讨论或会议场景,数据采集自真实的办公与社交环境,包含了高频的语音重叠、快速的话题切换以及复杂的多人互动。

  • ASR 维度:要求系统在真实的多人语音重叠、抢话和环境干扰下,依然能保持高准确率的语音识别,并准确判定每个发言者的身份与时间边界。
  • SLU 维度:系统不仅要做到“听清”,还要能够跨越不同的说话人提取关键信息,梳理长篇幅、多轮次的对话脉络,最终获得客观、准确的理解。

重要时间节点 (AOE时间)

组委会保留按照实际情况做适当调整的权利。

组织团队

本次赛事由一支兼具专业性与行业影响力的团队全程组织护航,确保赛事公平、高效开展。核心组织者包括:

- 谢磊 西北工业大学

- 肖龙帅 华为技术有限公司

- 陈谐 上海交通大学

- 杜俊 中国科学技术大学

- 王帅 南京大学

- 薛浏蒙 南京大学

- Eng Siong Chng 南洋理工大学

- 周军 Rokid

- 卜辉 希尔贝壳

- 徐昕 希尔贝壳

- 高德辉 西北工业大学

- 廖育杰 西北工业大学

- 赵致闲 西北工业大学

- 朱毅可 西北工业大学

联系邮箱

gdh@mail.nwpu.edu.cn

liaoyujie@mail.nwpu.edu.cn

zxzhao@mail.nwpu.edu.cn

微信群二维码:

如二维码失效,可通过联系邮件发送邮件获取最新二维码

诚挚邀请

首届 SmartGlasses 挑战赛的开启,既是对第一视角语音交互技术的深度挖掘,更是对穿戴式 AI 系统迈向真实世界的一次全新探索与推动。在这里,你可以展示深厚的技术积淀,与全球同行交流探讨,攻克行业核心难题,助力下一代智能语音技术的跨越式发展。在此,我们诚邀全球科研团队、技术从业者积极参与,共赴这场聚焦真实交互的技术盛宴,共促行业高质量发展。

🔗 竞赛官网:https://aslp-lab.github.io/SmartGlasses

🔗 报名入口:

优先填写谷歌注册表单:https://docs.google.com/forms/d/e/1FAIpQLSfReBQPIFSNJ_pJkpyPJ_icfYxHznTD5y6WtOk5goC-BLPcOQ/viewform

如无法使用谷歌表单注册或者多次注册未成功,中国大陆用户可填写腾讯注册表单:https://docs.qq.com/form/page/DVWV6ZGJoSFBnd3Zi

提交注册表单后,组委会将在 1个工作日内 通过邮件发送确认函。请及时查收;若未收到,请先检查垃圾邮件箱,或通过联系邮箱与我们取得联系。