AudioCC交我学

语音能力接入大语言模型（Large Language Model，LLM）之后，系统的质量不能只看它答对了多少道语音题。原有文本知识是否保留、证据不足时能否停止猜测、适配新任务需要多少计算，都会影响模型的实际价值。

本文围绕语音大语言模型（Speech Large Language Model，Speech LLM）的三篇相关工作展开：参数重要性分析[1]解释文本能力退化，AQUA-Bench[2]考察不可回答性判断，SpeechMapper[3]探索高效语音映射。三者共同提示：新模态能力、回答可靠性与训练成本，需要放在同一套评价视野中。


一、背景与主要挑战

语音理解既包括把声音转成文字，也包括根据口语问题理解上下文并生成答案。已有系统主要沿三条路线发展：

  • 级联路线先做自动语音识别（Automatic Speech Recognition，ASR），再把转录交给文本模型；
  • 编码器与适配器路线将语音表征直接映射到语言模型的嵌入空间；
  • 离散语音标记路线则把语音压缩成离散单元，与文本序列共同建模[1,3]。

这些路线有不同取舍。级联系统容易复用文本模型，却可能丢失语调等声学信息，并传递转录错误；直接映射保留了端到端学习空间，但如果更新语言模型参数，就需要关注原有文本能力；离散表示便于统一序列接口，却依赖量化质量和训练设计。以下三篇论文分别从知识保留、证据边界和适配效率切入，评价对象和指标各不相同，结果不能组成一个统一排行榜。


二、参数重要性分析追踪文本能力退化

Understanding Textual Capability Degradation in Speech LLMs via Parameter Importance Analysis [1]

1. 研究动机与实验对象

接入语音后，模型可能更擅长语音问答，却在同样内容的文本问答上退步。作者选择不扩展文本词表的编码器与适配器范式，以 LLaMA-Omni 为研究对象，分别采用 LLaMA-3.2-1B 和 LLaMA-3.1-8B 基座。分析集中在语音理解训练阶段，以减少词表扩展和语音生成等因素的干扰。

训练使用 VoiceAssistant-400K 与 Spoken-Alpaca-GPT4 的首轮对话，配对语音问题和文字转录。下游评测采用 LLaMA Questions、Web Questions，并分别报告文本输入和语音输入时的问答准确率。这个设计使作者能够同时观察原有文本知识和新增语音能力。

2. 方法与机制观察

作者将参数重要性定义为把一个参数置零所引起的损失变化，并使用一阶近似计算：参数值与损失对该参数梯度的乘积，取绝对值。为验证这一估计，论文分别置零最重要、最不重要和随机选取的 3% 参数。重要性由训练数据的一个子集估计，困惑度在不与训练重叠的 500 条样本上计算；移除高重要性参数造成的损害明显更大[1，表1]。

可视化显示，高重要性参数沿权重矩阵的部分行、列聚集，作者称之为秩聚集。这提示语言能力的参数组织可能具有低秩特征，但热图中的聚集现象本身并不是对知识结构的严格证明。

图1 参数重要性沿部分行列聚集 [1]上排为语音输入，下排为文本输入；颜色表示局部邻域中高重要性参数的比例

进一步比较微调前后的层间分布，1B 模型的重要性峰值明显前移；8B 模型保留了较多原有形状，但整体幅值受到压低。作者据此把文本参数重要性分布迁移视为该实验中能力退化的主要解释，并考察两种缓解方法：分层学习率让原本重要的层更新得更小；低秩适配（Low-Rank Adaptation，LoRA）约束参数更新的形式。

图2 不同训练方式下的层间文本参数重要性 [1]左为 1B，右为 8B；分层学习率与低秩适配在不同程度上保留了原模型的分布形状

3. 实验结果与适用边界

表1 8B 模型在 Web Questions 上的准确率[1]

在这一设置下，两种缓解方法都优于全量微调：分层学习率更好地保留文本问答能力，LoRA 的语音问答准确率更高。不过，两者的文本结果仍低于未微调基座的 58.7%。保留文本能力与适配语音之间仍存在取舍，不能据此宣称遗忘已经消除。

这篇论文提供了可操作的诊断视角：除了看最终分数，也可以检查参数重要性如何变化。其证据主要来自一个架构家族、两种规模和两个问答基准。对于离散语音标记、语音生成及实时交互，结论是否成立仍需专门验证；重要性变化与性能变化之间的关联，也不宜泛化成所有模型的单一退化原因。


三、AQUA-Bench 评估模型何时应当拒答

AQUA-Bench: Beyond Finding Answers to Knowing When There Are None in Audio Question Answering [2]

1. 研究动机与任务设计

许多音频问答评测默认问题可回答、选项中存在正确答案。真实问题可能不满足这些条件：录音中有狗叫，并不意味着可以判断狗的颜色。AQUA-Bench 的名称来自音频问题不可回答性评估 (Audio Question Unanswerability Assessment)，它关注的是模型能否识别答案缺失或音频证据不足。其对象包含环境声音和非语言人声，因而为 Speech LLM 提供的是相邻音频理解领域的可靠性视角。

  • 答案缺失检测（Absent Answer Detection，AAD）删除正确选项，并加入“以上皆非”；
  • 不兼容答案集合检测（Incompatible Answer Set Detection，IASD）用不属于问题所需类别的选项替换原选项，例如问乐器却提供情绪词；
  • 不兼容音频问题检测（Incompatible Audio Question Detection，IAQD）提出无法由音频确定的问题，例如只听叫声却问动物颜色。

图3 AQUA-Bench 的任务设计 [2] 保留同一音频，分别构造正确答案缺失、选项类别不匹配、问题无法由音频回答的情况

2. 实验设定与指标

实验覆盖动物声、乐器声和非语言人声，分别使用 ESC-50，Music Instrument Sounds与VocalSound 数据，并扩展到综合音频理解与推理题。作者比较多种开放模型和商业模型，使用贪心解码，再从生成文本中提取答案。

关键在于指标定义：原始可回答题报告全样本准确率；三类不可回答题报告条件准确率（Conditional Accuracy，CA），只在该模型答对原题的样本子集上计算。其分子是这些样本中正确判断不可回答的数量，分母是答对原题的数量。两者分母不同，不能把它们当成同一准确率的直接升降；不同模型的条件准确率也可能基于不同子集。

3. 实验结果与提示方式的影响

Qwen2.5-Omni 在动物声音原题上的准确率为 96.4%；在已答对原题的样本中，删除正确选项后，AAD 条件准确率只有 20.5%。非语言人声任务的原始准确率为 92.2%，对应 AAD 条件准确率为 7.2%[2，表1]。正确识别音频，不等于能判断给定选项是否包含有效答案。

作者进一步加入思维链（Chain-of-Thought，CoT）提示，要求模型先判断问题能否根据音频回答。表 2 列出动物声音任务的结果；提示改变了不可回答性判断的表现，但不同模型的增益和最终水平并不一致。

表 2 动物声音任务的原始准确率与 AAD 条件准确率 [2]

这些结果与作者提出的强制选择偏置解释一致：模型倾向于从选项中找一个答案，即使没有合适选项。提示可以缓解这一行为，但不能单凭提示后的增益确定内部因果机制，更不能推断开放场景中的可靠拒答已经解决。

4. 局限与启示

AQUA-Bench 主要通过受控方式改写问题或选项，仍是选择题评测，尚不能覆盖开放式交互中的模糊证据、部分可回答问题和长对话。论文也说明，生成数据只对一个子集做了人工核验。后续评测需要同时关注答题能力、正确拒答与错误拒答，避免把一味拒答误认为可靠。


四、SpeechMapper 降低语音接入的适配成本

SpeechMapper: Speech-to-text Embedding Projector for LLMs [3]

1. 研究动机与两阶段方法

一些语音模型需要在训练中反复调用完整语言模型，甚至联合更新多个大模块，带来计算开销和任务过拟合。SpeechMapper 将问题拆开：先学习语音到文本嵌入的映射，再把映射模块接入冻结的语言模型。语音编码器也保持冻结，训练对象主要是投影器。

第一阶段只使用语音及其转录，把冻结的语音基础模型输出送入投影器。本阶段仅更新投影器参数，语言模型词嵌入层也保持冻结。两个连续模块通过卷积、注意力和全连接层压缩序列、映射维度；目标文本嵌入用填充向量补齐长度。训练使用均方误差（Mean Squared Error，MSE）与余弦对齐损失，并对词向量和填充位置设置不同权重。这一阶段只需语言模型的词嵌入层，不需要完整语言模型前向计算。

第二阶段把预训练好的投影器接到完整语言模型上，进行 1,000 步适配。本阶段仍只更新投影器参数，语音基础模型和完整语言模型（包括词嵌入层）均保持冻结。论文比较交叉熵（Cross-Entropy，CE）以及 CE 加 MSE 等设置；仅用 ASR 数据的适配面向通用迁移，使用目标翻译或问答数据的适配则面向具体任务。因此，不能把所有第二阶段实验统称为同一种损失或同一种训练数据。

图 4 SpeechMapper 的两阶段训练 [3]第一阶段对齐语音与文本嵌入；第二阶段接入冻结的语言模型进行短程适配

2. 实验配置与成本口径

实验使用 seamless-m4t-v2-large 作为语音基础模型，语言基座为 EuroLLM-9B-Instruct 与 Llama-3.1-8B-Instruct。预训练和仅用 ASR 的适配使用 960 小时 LibriSpeech。论文所说的零样本翻译或问答，指没有用目标任务的数据适配，不代表没有经过语音预训练。

计算成本需要分阶段理解：第一阶段为 200 万步，使用 4 张 V100-32GB，约需 4 天；第二阶段使用 1 张 A100-80GB，1,000 步约需 1.5 小时[3，第3页]。后一个数字只对应论文中 8B／9B 基座的短程适配，不能概括为整个系统的训练时间。

3. 语音翻译结果

翻译实验使用 EuroParlST 与 CoVoST2，指标为跨语言优化翻译评价指标（Crosslingual Optimized Metric for Evaluation of Translation，COMET）[4]。论文将分数乘以 100 展示，它是翻译质量分数，不是准确率或百分比。表 3 选择 EuroLLM 基座在 EuroParlST 上的两种语言方向，便于区分只用 ASR 适配与专项翻译适配。


表3 EuroParlST 翻译结果 [3]，COMET × 100，越高越好

SpeechMapper 各行均使用 EuroLLM-9B-Instruct；前两种 SpeechMapper 设置未用翻译任务数据。第二阶段结果为两次随机种子训练的均值，± 保留原表标准差。

在英语至西班牙语方向，专项翻译适配达到 85.4，超过所列基线的 83.5；但这不等于所有语言方向都领先。论文还发现，在只用 ASR 适配时，加入 MSE 约束有助于改善目标语言遵循，减少把翻译任务做成英文转录的情况。

4. 语音问答结果及局限

语音问答（Spoken Question Answering，SQA）在 SpokenSQuAD 与 LibriSQA 上评估。论文采用语言模型裁判判断答案等价性，并汇总多个裁判的平均准确率；这不是人工逐题评分。专项问答适配还混入 ASR 数据。

在 LibriSQA Part II 上，BEST-IWSLT25-IF 的平均准确率为 62.5%，EuroLLM 基座的 SpeechMapper 经专项适配后为 68.1%；换用 Llama-3.1-8B-Instruct 时为 72.5%[3，表2]。72.5% 与前文翻译实验不是同一语言基座，差异不能全部归因于投影器。适配也并非处处改善：Llama 基座在该子集上，第一阶段为 70.5%，仅用 ASR CE+MSE 适配后为 68.9%。

SpeechMapper 的价值在于把昂贵的完整语言模型计算集中到较短的适配阶段。它仍需要显著的前期训练资源，且主要验证英语输入、两种语言基座及翻译和问答任务。未见命名实体、重复输出、提示敏感性等问题仍存在。冻结语言模型权重减少了直接改写原有参数的风险，但论文没有系统完成文本能力保持评测，不能据此宣称已经解决第一篇论文讨论的全部退化问题。


五、总结与后续方向

三篇工作的共同启示是，语音接入正在从能否完成任务，转向怎样保留知识、怎样约束答案、怎样复用适配模块。参数重要性分析让能力退化成为可观测的训练问题；AQUA-Bench 把音频证据边界纳入评价；SpeechMapper 则展示了将语音映射与完整语言模型训练解耦的可行路径。

从这三项工作的交叉分析看，仍缺少一个同时覆盖文本能力保持、语音任务表现、不可回答性判断和总训练成本的完整实验闭环。更有价值的后续研究，应在相同基座与数据条件下检验这些目标能否兼得，并扩展到真实噪声、开放式问答和持续交互。判断模型是否进步，需要追问提升来自哪里、适用于什么条件，以及它是否把代价转移到了另一项能力上。


六、参考文献

[1] WANG C, ZHENG R C, AI Y, LING Z H. Understanding Textual Capability Degradation in Speech LLMs via Parameter Importance Analysis[C]//2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2026. DOI: 10.1109/ICASSP55912.2026.11461684.

[2] KUAN C Y, LEE H Y. AQUA-Bench: Beyond Finding Answers to Knowing When There Are None in Audio Question Answering[C]//2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2026. DOI: 10.1109/ICASSP55912.2026.11460647.

[3] MOHAPATRA B, BOITO M Z, CALAPODESCU I. SpeechMapper: Speech-To-Text Embedding Projector for LLMs[C]//2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2026. DOI: 10.1109/ICASSP55912.2026.11463274.

[4] REI R, STEWART C, FARINHA A C, LAVIE A. COMET: A Neural Framework for MT Evaluation[C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Association for Computational Linguistics, 2020. DOI: 10.18653/v1/2020.emnlp-main.213.


供稿 | 毛宇琛

编辑 | 刘怡涵

审核 | 张王优