配音、字幕、画面同步对齐
本文解释视频翻译后为什么会出现字幕、语音、画面不同步的问题，以及如何解决。
一、为什么会不同步？
不同语言表达同一个意思时，句子的长度和音节数完全不同。例如：
| 原文 | 时长 | 翻译 | 时长 |
|---|---|---|---|
| 你好 | 0.5秒 | Hello | 0.5秒 |
| 我今天很高兴 | 1.5秒 | I am very happy today | 2.5秒 |
| 德国的首都是柏林 | 2.0秒 | Die Hauptstadt Deutschlands ist Berlin | 3.0秒 |
翻译后的配音时长必然与原始视频的时长不一致，导致声音和画面无法对齐。
二、对齐策略
软件提供以下策略来解决同步问题：
策略 1：音频加速（默认启用）
当配音时长 > 原视频时长时，自动加速配音以匹配原时长。
适用场景：配音比原视频长 1-2 倍 优点：处理速度快，不影响画面 缺点：加速过多会导致声音变尖
策略 2：视频慢速
当配音时长 > 原视频时长时，放慢视频播放速度以匹配配音时长。
适用场景：配音比原视频长 2 倍以上 优点：保持配音原始音质 缺点：画面可能略卡顿，视频文件变大
策略 3：音频 + 视频协同（推荐）
当配音倍率 > 1.2x 时，音频加速和视频慢速各负担一半时间差。
适用场景：配音远长于原视频 优点：两者副作用相互抵消，效果最佳
策略 4：精简译文
通过大模型或人工精简目标语言的字数，从源头缩短配音时长。
策略 5：移除配音前后静音
剔除 TTS 引擎在句首和句尾自动生成的无声缓冲时间。
三、软件中的对应设置
主界面
| 设置 | 位置 | 说明 |
|---|---|---|
| 配音加速 | 主界面第5行 | 加速过长的配音 |
| 视频慢速 | 主界面第5行 | 放慢视频匹配配音 |
| 配音语速 | 主界面第5行 | 整体调整配音速度 |
高级选项
| 设置 | 位置 | 说明 |
|---|---|---|
| 音频加速最大倍数 | 字幕声音画面对齐 | 默认 100 |
| 视频慢放最大倍数 | 字幕声音画面对齐 | 默认 10 |
| 移除配音前后静音缓冲 | 字幕配音调整 | 可选 |
四、最佳实践
- 默认启用「配音加速」 — 应对大部分场景
- 配音远长于原视频时，同时启用「视频慢速」
- 中文翻译成英文时，设置「配音语速」为
+10或+15，加快整体速度 - 使用 clone 角色时，确保字幕时长控制在 3-10 秒
- 使用「二次识别」，在配音完成后再次识别，生成更精准的时间轴
五、技术原理
软件底层使用 SpeedRate 对齐引擎，核心逻辑：
- 预处理阶段：将每条字幕的结束时间扩展到下一条字幕的开始时间（吸收静音间隙）
- 计算阶段：根据配音/字幕时长比，决定使用哪种对齐策略
- 执行阶段：音频变速（Rubber Band 或 FFmpeg atempo）+ 视频变速（PTS setpts）
- 拼接阶段：将所有处理后的音频片段按时序拼接，用静音填充间隙
详细技术实现请查看 音画对齐原理说明