pyVideoTrans

Appearance

视频翻译软件的核心原理是：根据视频中的说话声音识别出文字，然后将文字翻译为目标语言文字，再将翻译后的文字进行配音，最后将配音、文字嵌入视频。

可以看到第一步就是从视频中的说话声识别出文字，识别精确度直接影响到后续翻译和配音。

faster本地模式 ​

推荐使用，这是基于OpenAI的开源whisper转换后的模型，就如名字所暗示的，识别速度更快，也不降低准确度。

image.png

选择faster模式后，即可在右侧选择要使用的模型

image.png

tiny --> base --> small --> medium --> large-v3-turbo --> large-v1 --> large-v2 --> large-v3 模型尺寸越来越大，同样识别精确度也越来越高。

对于中文视频，建议至少选择大于等于medium的模型

.en后缀的模型和distil开头的模型，只可用于英文视频。

为加快任务速度，在Windows和Linux上，如果有英伟达显卡，可配置安装CUDA和cuDNN环境后，启用CUDA加速，将能明显提高执行速度。

image.png

查看CUDA和cuDNN安装教程

模型下载 ​

默认自动从https://huggingface.co 下载，该地址在国内已被屏蔽，非科学上网无法访问，国内将自动使用镜像站https://hf-mirror.com替换，但不太稳定，可能下载失败，如果失败，请手动下载，方法如下

  • 下载 tiny 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-tiny 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-tiny/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 tiny.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-tiny.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-tiny.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 base 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-base 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-base/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 base.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-base.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-base.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 small 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-small 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-small/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 small.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-small.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-small.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 medium 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-medium 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-medium/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 medium.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-medium.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-medium.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 large-v3-turbo 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--mobiuslabsgmbh--faster-whisper-large-v3-turbo 文件夹
    2. 打开模型下载地址： https://huggingface.co/mobiuslabsgmbh/faster-whisper-large-v3-turbo/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 large-v1 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-large-v1 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-large-v1/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 large-v2 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-large-v2 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-large-v2/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 large-v3 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-large-v3 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-large-v3/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 distil-small.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-small.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-small.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 distil-medium.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-medium.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-medium.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 distil-large-v2 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-large-v2 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-large-v2/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • 下载 distil-large-v3 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-large-v3 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-large-v3/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

自动检测语言 ​

在 v2.59 版本后，原始语言下拉框里新增了“自动检测”选项，当不知道是什么语言或者该语言不属于所支持的24种语言之中，那么可以选中“自动检测”选项，程序会尝试自动识别说话语言。

当然如果有可能，英尽量避免使用该选项，尤其是视频前30s内没有清晰说话声时，因为自动检测原理是利用前30s的声音片段进行判断，以此来设定整个视频所用语言。 还有一个注意点：一些发音类似但书写方式不同的语言是无法准确识别的，可能会识别为任意一种，例如中文视频可能会随机识别为简体或繁体。