语音小管家
论文链接：https://arxiv.org/pdf/2412.19078
数据协同团队智能信号处理组（GISP@HEU）领衔，萨里大学、悉尼科技大学及哈尔滨工业大学（深圳）合作参赛队伍所提交的系统，图增强双流特征融合网络（GEDF - Net）在众多顶尖声学研究团队中脱颖而出，荣获国际第一名。
GEDF - Net是一种基于预训练模型的图增强双流特征融合网络，主要由图增强双流特征提取（GDFE）模块、帧级融合模块和类别计数预测器组成。
在车辆类型特征提取（VTFE）分支，研究团队巧妙利用在 AudioSet 上预训练的 PANNs 模型，有效缓解数据稀缺问题，增强车辆类型特征表示。同时，引入图注意力机制，精准捕捉音频事件的时间关系，突出重要音频事件，进一步细化特征。例如，在处理复杂交通音频时，能更好地识别不同车辆类型独有的声音特征。
车辆方向特征提取（VDFE）分支则采用 GCC - PHAT 进行时间延迟估计来提取方向特征，并引入平均池化操作挖掘关键方向信息，便于后续特征融合。
帧级融合模块将提取的车辆类型和方向特征在时间帧上进行组合，形成兼顾两者的细粒度表示，为精准监测提供有力支持。
类别计数预测器最终依据这些融合特征，准确估计不同类型车辆（汽车或商用车）在不同行驶方向（左右向）的数量。
在实验环节，团队在 DCASE 2024 挑战赛任务 10 开发数据集上展开深入研究。对比实验表明，GEDF - Net 全面超越基线方法，在不同交通场景下均展现出卓越性能。在样本稀少的区域，如 loc2 和 loc4，借助预训练模型引入的外部知识，GEDF - Net 优势明显；在相对简单的 loc5 场景，其性能也十分稳定。与其他先进系统相比，GEDF - Net 同样表现出色，充分证明了图增强细粒度特征表示与预训练模型结合的有效性。
“我们的研究不仅提高了声学交通监控的准确性，还为处理现实世界中稀缺和复杂数据提供了新的思路。”该团队的负责人关键教授表示，“我们很高兴能够在DCASE挑战赛中展示我们技术的实力，并期待将这些研究成果应用到实际的交通监控系统中。”
