【交我学-4】一文入门声音事件检测

图1：声音事件检测任务示意

1. 不同种类的声音，其声学特征可能有较大的差异：有些声音很短、很急促，比如玻璃破碎的声音；有些声音比较长、比较舒缓，比如提琴的声音；有些声音是断断续续的，比如脚步声和鸟叫声。

2. 声音事件之间可能发生重叠，这在真实场景下很常见，且一般没有明显的规律。

3. 对于声音事件的类别缺乏统一的规定，各个任务的声音事件集合及具体划分往往存在较大差异。这给多个数据集的结合使用以及数据标注带来了困难。

4. 因为不同声音事件检测任务通常面向不同的预设环境，而环境本身是多种多样的，因此缺乏比较通用的、普遍用于评估的数据集。

图2：声音事件检测系统的输出

需要注意的是，系统输出在时间上的分辨率跟对音频进行建模分析的分辨率并不一定需要一致，往往会低很多，例如几百毫秒或者一秒为一小段。在极端情况下，将整个音频作为一段，声音事件检测任务就退化为了音频标注（Audio Tagging，AT）任务。

另外，系统的输出通常需要经过一些后处理：

1. 当输出的时间分辨率较高时，对于一些很短的声音事件（比如仅持续一两个小段），若其时长不符合实际（例如本该较长的风声仅持续了200ms），则将其舍弃掉。

2. 检测到的某种声音事件的连续发生之间存在零星的空隙时，可能会填补空隙以构成一整个声音事件。这在断断续续的声音事件上比较常见，例如脚步声和闹铃声等。

1. 强标签（strong labels），带时间信息的标签，最适合声音事件检测系统的训练，但标注比较困难，且人工标注难以确保准确性，若标注者的专业程度不高，会得到脏标签（noisy labels）。

2. 弱标签（weak labels），整段音频对应一个标签，标注容易，但用于声音事件检测系统的训练时需要额外的处理。

标注数据时，通常需要先规划好声音事件的类别，然后标注者在标注音频时对每一类进行检查。

除了标注之外，还有另一种获得强标签的方法：合成音频，这种方法将不同的声音事件混合起来，可以获得准确的强标签。合成音频的优点在于数据生成非常快，且能够模拟各种声音场景，加入不同的背景噪声，数据多样性较强；而缺点在于生成的音频可能不能很好地模拟真实数据，跟真实录制的音频之间存在或多或少的不匹配，导致训练出来的模型在真实数据上的表现不佳。

评估声音事件检测系统的输出时，直接将模型的输出跟参考标签比较是不合适的，因为：

1. 声音事件检测系统输出的时间范围跟参考标签的时间范围相差不大时（例如几十毫秒或一两百毫秒），通常将其视为合理的误差，而不判断为错误。输出粒度较细时，这类误差是很常见的，应采取措施来应对。

2. 人工标注的强标签的精准度并不高，很多声音事件在细粒度下很难界定时间范围，因此标签本身并不是那么可靠。

基于上述问题，一般有两种评估方式：基于段的评估和基于事件的评估。

基于段的评估即使用较粗的粒度（例如1秒）进行评估，此时对系统输出的判断将比较宽松，能避免一些小的时间误差错误地影响性能评估。

图3：基于段的评估

基于事件的评估即对声音事件一个接一个进行评估，对于每个声音事件，在开始或结束的位置提供某个时间范围的容错机会，同样使评估更加宽松、合理。

图5：基于段的评估中各项指标的统计

早期包括使用GMM、HMM的方法，现在的方法则是基于深度神经网络（Deep Neural Network，DNN）。基于DNN的方法能够自然地解决多标签分类问题，且具备高性能，能够应对复杂的场景。

最经典的用于声音事件检测任务的DNN结构是CRNN，它是CNN和RNN的结合，既可以利用CNN部分捕获局部的高级特征，又能通过RNN部分建模时序上下文。CRNN使用log mel energies作为输入特征，这也是声音事件检测系统比较常用的一种输入特征。

图7：CRNN的模型结构

当然，CRNN已经是2017年的方法了。现在的声音事件检测系统很多都采用了迁移学习的方法：先在大规模数据集（如AudioSet）上预训练基础模型，再附加一个分类头在声音事件检测的目标数据集上进行微调训练。这种情况下，声音事件检测其实是作为一个下游任务，性能很大程度上取决于预训练的基础模型，相对于传统的CRNN等模型会有更优的性能。这类模型的例子有：PANN、BEATs、EAT、M2D、CED、Dasheng等。

另外，如何使用弱标签、脏标签进行训练，也是一个研究方向，这里不作展开。