pyVideoTrans

Appearance

视频翻译最佳效果推荐 ​

本文按处理流程的四个阶段，分别推荐最佳配置方案。

第一步：语音识别 ​

目标：将视频中的语音转换为对应语言的字幕文件, 这一步的质量直接确定后续字幕翻译和配音质量

非中文视频 ​

配置级别渠道模型说明
免费推荐faster-whisper(内置)large-v3速度与质量兼顾
免费备选openai-whisper(内置)large-v3准确度略高但速度略慢
免费备选Nemotron-3.5-asr-0.6b(内置)-速度较快，拉丁语系为主，也支持日韩越
免费备选whipser.cpp(Win内置)large-v3速度较快，win内置
收费推荐OpenAI 语音识别 API—效果优秀

中文视频 ​

配置级别渠道模型说明
免费推荐Qwen-ASR(内置)1.7B中文效果佳
免费备选阿里FunASR(内置)paraformer-zh/sensevoice-small中文效果佳
免费备选Firered中文(内置)小红书中文及中文方言纯CPU运行
免费备选Huggingface_ASR(内置)zai-org/GLM-ASR-Nano-2512智谱AI模型中文效果佳
收费推荐豆包语音识别大模型极速版—中文效果佳，在线API
收费推荐小米 mimo-v2.5-asr—中文效果佳，在线API
收费备选阿里百炼 ASR—中文较佳，在线API

也可选择 Audio.cpp渠道+qwen-asr/funasr模型

日语视频 ​

配置级别渠道模型说明
免费推荐openai-whisper(内置)large-v3通用效果好
免费推荐Qwen-ASR(内置)/阿里FunASR(内置)sensevoice-small/Fun-ASR-nano中文为主，也支持日语
免费推荐Nemotron-3.5-asr-0.6b(内置)英伟达开源多语言模型拉丁语系为主，也支持日韩越
免费备选kotoba-tech/kotoba-whisper-v2.0日语专用
收费推荐OpenAI 语音识别 API—效果优秀

也可选择 Audio.cpp渠道+Nemotron/vibevoice-asr模型

小语种视频 ​

配置级别渠道说明
免费推荐openai-whisper(内置) large-v3通用模型，支持数十种语言
免费推荐Dophin(内置)专门用于亚洲语言(批量语音转录界面可选择自动检测)，纯CPU运行
免费推荐Omnilingual ASR(内置)1600多种语言(批量语音转录界面可选择自动检测)，纯CPU运行
免费推荐Huggingface_ASR(内置)huggingface.co上网友微调的各种小语种模型
收费推荐Gemini 大模型识别 / OpenAI API小语种效果好

进一步提高识别质量：

  • 明确指定发音语言，会让识别更准确
  • 选中分离人声背景声 或 选中 降噪
  • 选中LLM纠错复选框，并在高级选项--LLM纠错所用渠道里选择智能顶尖的AI渠道和模型
  • 考虑LLM重新断句: 选中菜单-工具-高级选项-语音识别参数--使用LLM重新断句替代LLM纠错 后将使用LLM重新断句，提示词为软件目录/videotrans/prompts/resegment/llm_re.txt，选中后，请勿再嵌入双字幕，因重新断句必然导致字幕条数和原始字幕不匹配

点击查看语音识别各个渠道使用方法

第二步：字幕翻译 ​

目标：将第一步生成的字幕翻译为目标语言。

配置级别渠道说明
首选DeepSeek / OpenAI ChatGPT / Gemini（最新模型）AI 翻译质量最佳
免费Google 翻译 / Microsoft 翻译传统翻译，速度快
本地M2M100完全离线翻译
本地Hy-MT2-1.8B腾讯开源翻译模型

关键设置：

  • 首选 AI 渠道，例如 deepseek / openai-chatgpt / 智谱AI等，并使用在线旗舰模型，例如deepseek-flash等
  • 选中发送完整字幕复选框
  • 若所用模型上下文足够大， 并且不在意token消耗倍增，可选中高级选项--字幕翻译--AI翻译附带所有字幕做参考
  • 如果想进一步精简翻译结果，避免太长导致配音严重超长，可选中高级选项--字幕翻译--进一步精简翻译结果
  • 有能力可以自行优化提示词，位于软件目录/videotrans/prompts/srt文件夹内(必须选中发送完整字幕)，不同渠道对应不同的 txt 文件，打开编辑即可，注意其中的{xxx}是动态变量，不要删除或修改。未选中发送完整字幕时的提示词位于软件目录/videotrans/prompts/text内，Hy-MT2提示词也在该文件夹内。

第三步：配音 ​

目标：根据翻译后的字幕生成配音音频。

配置级别渠道说明
免费Edge-TTS微软免费接口，效果自然，支持所有语种
本地Qwen-TTS、F5-TTS、OmniVoice、Confucius内置，支持克隆
收费豆包语音合成2.0 / Qwen-TTS(bailian) / 小米 / Minimaxi / OpenAI-TTS高质量商业 API
克隆OmniVoice / Confucius / Qwen-TTS / GPT-SOVITS / CosyVoice / F5-TTS / Index-TTS / ChatterBox / ZipVoice / FireRed3-TTS使用原视频音色

点击查看配音渠道详细信息和使用方法

第四步：字幕、配音、画面同步对齐 ​

目标：将字幕、配音和画面进行同步处理。

配置说明
选中「二次识别」在配音完成后对配音文件再次语音识别，生成时间轴精准、简短的字幕
设置「配音语速」中文翻译成英文时，设置 +10 或 +15 加快配音速度
选中「配音加速」当配音比原视频长时，自动加速配音
同时选中「视频慢速」配合音频加速，效果最佳
删字幕间静音如果配音加速和视频慢速均不选择，将显示该选项，选中后将删掉声音之间的静音片段，直接声音相连。若不选，则保留原始字幕之间可能存在的静音区间。
对齐字幕声音如果配音加速和视频慢速均不选择，将显示该选项，翻译为其他语言后的字幕，再进行配音，大概率与原语音时长不同，选中此项，将强制修改字幕时间戳，以便字幕能跟随声音显示和消失
选中「分离人声背景声」嵌入原始背景音
选中「降噪」提升原音质量，提高识别精度
  • 菜单-工具--高级选项-字幕配音--移除每条字幕配音开头结尾静音缓冲: 选中可将配音开头和末尾的静音缓冲移除，利于对齐
  • 菜单-工具--高级选项-字幕配音--移除每条字幕配音全部静音缓冲: 选中可将所有静音包括开头 末尾以及句中的静音缓冲全部移除，利于对齐
  • 菜单-工具--高级选项-字幕配音--静音移除力度: 选择low会降低移除力度，减小移除的静音片段，选择max将增大移除力度，移除更多静音片段

第五步：其他质量提升 ​

基础设置 ​

  1. 选中分离人声背景声 或 选中降噪
  2. 选中发送完整字幕，选中LLM纠错
  3. 菜单-工具-高级选项-字幕翻译：需确保所用AI模型支持长上下文和长输出
    • 将 AI翻译渠道每批次字幕行数设为 100 或更大
    • 选中使用LLM重新断句替代LLM纠错，选中后，请勿再嵌入双字幕，因重新断句必然导致字幕条数和原始字幕不匹配
    • 选中AI翻译附带完整原字幕

使用 clone 角色克隆原音色时 ​

  1. 设置 菜单 -> 工具 -> 高级选项 -> 语音识别参数：
    • 最短语音持续毫秒：3000
    • 最长语音持续秒数：10
  2. 翻译渠道使用 AI 引擎（DeepSeek / OpenAI ChatGPT），选中 发送完整字幕
  3. 语音识别：中文建议 豆包语音大模型极速版/Qwen-ASR/FunASR/Firered中文；英文建议 Faster-whisper + large-v3，选中 默认断句
  4. 需要重新嵌入背景音时，点击「设置更多参数」选中「分离人声背景声」；不需要时选中「降噪」

常见问题 ​

Q: 无损视频输出的条件？ ​

原始视频编码为 H.264 MP4 + 不勾选视频慢速 + 不嵌入硬字幕 + 编码选择 264。

Q: 处理速度很慢？ ​

  1. 确保已启用 GPU 加速（CUDA）
  2. 使用较小的模型
  3. 确保显卡驱动已更新

Q: 如何使用 GPU 加速？ ​

确保已安装 NVIDIA 显卡驱动、CUDA 12.8 和 cuDNN 9.11，然后在主界面勾选「CUDA 加速」。AMD 显卡不支持 CUDA 加速。

相关文档 ​