语音小管家论文题目｜VoxDub: A Bilingual Lip-Synchronized Audio-Visual Dataset for Automatic Video Dubbing
作者｜王恺迪、管文豪、陈培杰、吴炜杰、林学涛、李琳、洪青阳
单位｜厦门大学信息学院、厦门大学电子科学与技术学院
项目主页｜https://voxdub-dataset.github.io/VoxDub/
论文链接｜https://arxiv.org/pdf/2610.25259
让视频中的人物“说得清楚、声音自然、口型同步”，是自动视频配音研究的重要目标。实现这一目标，需要同时具备可靠文本、清晰语音和同步人脸画面的训练数据。
本文介绍厦门大学智能语音实验室（XMUSPEECHLAB）在 NCMMSC 2026 提出的 VoxDub，一个面向自动视频配音的中英双语唇音同步视听数据集。VoxDub 包含约 76.7 万个视听片段，总时长约 1,580 小时的真实场景录音与视频，覆盖不同说话人、场景、说话风格和语言内容。研究团队构建了以语音为中心的数据处理流程，结合双语音识别系统校验、音质筛选、人脸可见性检查和唇音同步验证，并通过文本转语音与自动视频配音实验评估其应用价值。
为什么自动视频配音需要专门的数据集？
自动视频配音（Automatic Video Dubbing，AVD）需要根据目标视频和文本生成语音。与常规文本转语音（Text-to-Speech，TTS）相比，它还需要考虑语音时长、节奏与人物嘴唇运动之间的对应关系。
因此，适合这一任务的数据需要同时满足多个条件：
语音清晰：尽量减少背景音乐、噪声等干扰。
文本可靠转写内容与实际语音保持一致。
人脸可见：视频中保留可供模型学习的说话人面部信息。
唇音同步： 声音与嘴唇运动在时间上对应。
现有语音和视听语料库的设计目标各不相同，在音质、转写可靠性以及人脸可见性等方面也存在差异。VoxDub 围绕这些需求，将语音质量与视觉一致性检查结合起来，为自动视频配音提供中英双语训练资源。
数据集简介
1. VoxDub 的主要特点
（1）中英双语，覆盖真实场景
VoxDub 涵盖中文和英文，以及多样的说话人、场景和表达方式。
（2）以语音为中心进行切分
数据处理首先围绕语音活动确定片段边界，再提取相同时间区间的视频，尽量减少语音截断，并保留音视频之间的时间对应关系。
（3）联合检查音频、文本与视频
通过双 ASR 转写校验、语音质量筛选、人脸可见性检查和唇音同步验证，从多个维度筛选训练样本。
（4）支持两类生成任务
数据同时包含语音—文本与视频—语音信息，可用于研究文本转语音和视频条件下的语音生成。
2. 数据制作流程
图1 VoxDub 数据构建流程
第一步｜语音分离
使用 Ultimate Vocal Remover（UVR）分离音轨中的人声与非人声成分，保留人声用于后续处理，减少背景音乐等因素的干扰。
第二步｜语音活动检测与片段切分
利用语音活动检测（VAD）确定语音区间，合并间隔较短的片段，并过滤过短片段。随后根据相同时间戳提取对应视频。
第三步｜文本与音质检查
结合两个语音识别系统的转写结果进行一致性校验，并使用语音质量指标筛选音频，降低转写不可靠和音质较差样本的影响。
第四步｜人脸可见性检查
检查片段中的人脸可见情况，确保保留的画面能够提供有效的视觉信息。
第五步｜唇音同步验证
使用 SyncNet 评估语音与嘴唇运动之间的同步置信度，剔除低置信度片段。
3. 数据统计
图2 数据分布
VoxDub 共包含 766,708 个视听片段，总时长约 1,580 小时，其中英文约 47.6 万个、中文约 29.0 万个。说话人以男性为主，超过 50% 的片段时长在 2–10 秒之间；此外，我们使用 SceneDetect 检测镜头切换，以统计视频片段的画面连续性。
文本一致性上，在所采用的双 ASR 比较流程下，近 35% 的片段获得完全一致的转写结果，超过一半片段的系统间词错误率（WER）低于 5%。这一分布反映了两个识别系统对多数片段的转写具有较高一致性。同时，超过 80% 的片段在 DNSMOS P.835 的整体质量指标（OVRL）上得分高于 3.0；超过 70% 的片段唇音同步置信度（LSE-C）高于 5.0。这些统计结果描述了音频质量预测和视听同步的评分分布，为数据筛选提供了量化依据。
图3 质量统计
实验与结果
研究团队从文本转语音（TTS）和自动视频配音（AVD）两个方面评估 VoxDub，分别考察其语音—文本配对和视听配对数据的训练价值。
1. 实验设置
TTS 实验采用 ZipVoice，分别训练中文和英文模型，与 LRS3、CN-CVS 等视听语料库进行比较，并引入 LibriTTS 和基于 Emilia 预训练的官方模型作为参考。
AVD 实验采用 SyncVoice，在预训练语音生成模型的基础上进行视频条件配音适配。
此外，论文基于已有视听数据集随机选择样本配对构建了双语测试集 DubBench：
表1 DubBench 测试集组成
| 测试集 | 语种 | 样本数量 | 来源 |
|---|---|---|---|
| DubBench-ZH | 中文 | 1,000 | CMLR |
| DubBench-EN | 英文 | 978 | CelebV-Dub |
每个样本包含参考语音、目标文本和对应视频，用于评估语音生成及自动视频配音效果。
2. TTS 任务
表2 英文 TTS 任务下的结果对比
表3 中文 TTS 任务下的结果对比
相比所比较的视听语料库，使用 VoxDub 训练的模型取得了更低的词错误率（WER）。WER 越低，表示生成语音经识别后的内容与目标文本越接近。
表4 不同视听训练数据训练的 TTS 词错误率对比
| 语言 | 测试集 | 对比训练数据及 WER | VoxDub WER |
|---|---|---|---|
| 英文 | Seed-TTS test-en | LRS3：12.54% | 3.01% |
| 英文 | DubBench-EN | LRS3：12.34% | 4.34% |
| 中文 | Seed-TTS test-zh | CN-CVS：12.52% | 2.63% |
| 中文 | DubBench-ZH | CN-CVS：7.17% | 3.08% |
除 WER 改善外，VoxDub 在上述比较中也取得了更高的说话人相似度与自然度，接近 TTS 专用数据集（LibriTTS）下的表现。
这些结果支持 VoxDub 的语音—文本配对用于语音合成训练。尽管如此，基于大规模 Emilia 语料预训练的参考模型仍在 WER 和说话人相似度等指标上保持优势。
3. AVD 任务
自动视频配音实验中，VoxDub 与所比较的视听语料库取得了总体接近的语音质量表现。
在英文 DubBench-EN 上，使用 VoxDub 的模型将 WER 从 LRS3 基线的 6.10% 降至 5.44%，同时获得略高的 UT-MOS。中文实验中，VoxDub 与 CN-CVS 的 WER 基本接近，分别为 1.41% 和 1.40%。同时也具备较为接近的主观 MOS 分数以及较好的唇音同步性。这些结果证明 VoxDub 适合自动视频配音模型的训练。
表5 中英文 AVD 任务下结果对比
总结
VoxDub 面向自动视频配音的数据需求，构建了一个大规模中英双语视听数据集。
实验表明，VoxDub 在 TTS 任务中改善了相对所比较视听语料库的语音可懂度和说话人相似度；在 AVD 任务中，也表现出有竞争力的语音质量和总体接近的主观同步效果。
除已验证的任务外，VoxDub 也为视听语音表征学习、唇读和说话人面部生成等研究提供了可进一步探索的数据基础。
更多项目信息，请访问项目主页：voxdub-dataset.github.io/VoxDub
