pyVideoTrans

Appearance

HuggingFace_ASR 语音识别渠道模型下载 ​

v3.91 后新增了 HuggingFace_ASR 语音识别渠道，支持使用 huggingface.co 上的这些模型用于语音识别 第一次使用某个模型会自动下载，从 https://huggingface.co 或国内镜像 https://hf-mirror.com 因墙的原因，下载很可能会失败，你也可以手动下载将文件放入对应位置，方法如下

注意下载后不要修改文件名称，如果你的下载目录已有同名文件，可能会自动创建xxx(1)这类名称，请删除原有旧文件，然后重命名为同下载页相同名称

可以使用的模型和支持的语言 ​

  • nvidia/parakeet-ctc-1.1b: 支持识别 英语 发音的音视频

  • reazon-research/japanese-wav2vec2-large-rs35kh: 支持识别 日语 发音的音视频

  • kotoba-tech/kotoba-whisper-v2.0": 支持识别 日语 发音的音视频

  • zh-plus/faster-whisper-large-v2-japanese-5k-steps: 支持识别 日语 发音的音视频

  • JhonVanced/whisper-large-v3-japanese-4k-steps-ct2: 支持识别 日语 发音的音视频

  • jonatasgrosman/wav2vec2-large-xlsr-53-japanese": 支持识别 日语 发音的音视频

  • suzii/vi-whisper-large-v3-turbo-v1:支持识别 越南语 发音的音视频

  • biodatlab/whisper-th-medium":支持识别 泰国语 发音的音视频

  • biodatlab/whisper-th-large-v3":支持识别 泰国语 发音的音视频

手动下载 ​

  • 手动下载nvidia/parakeet-ctc-1.1b:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--nvidia--parakeet-ctc-1.1b 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/nvidia/parakeet-ctc-1.1b/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载reazon-research/japanese-wav2vec2-large-rs35kh:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--reazon-research--japanese-wav2vec2-large-rs35kh 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/reazon-research/japanese-wav2vec2-large-rs35kh/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载kotoba-tech/kotoba-whisper-v2.0:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--kotoba-tech--kotoba-whisper-v2.0 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/kotoba-tech/kotoba-whisper-v2.0/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载zh-plus/faster-whisper-large-v2-japanese-5k-steps:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--zh-plus--faster-whisper-large-v2-japanese-5k-steps 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/zh-plus/faster-whisper-large-v2-japanese-5k-steps/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载JhonVanced/whisper-large-v3-japanese-4k-steps-ct2:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--JhonVanced--whisper-large-v3-japanese-4k-steps-ct2 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/JhonVanced/whisper-large-v3-japanese-4k-steps-ct2/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载jonatasgrosman/wav2vec2-large-xlsr-53-japanese:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--jonatasgrosman--wav2vec2-large-xlsr-53-japanese 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/jonatasgrosman/wav2vec2-large-xlsr-53-japanese/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载suzii/vi-whisper-large-v3-turbo-v1:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--suzii--vi-whisper-large-v3-turbo-v1 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/suzii/vi-whisper-large-v3-turbo-v1/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载biodatlab/whisper-th-medium:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--biodatlab--whisper-th-medium 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/biodatlab/whisper-th-medium/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

  • 手动下载biodatlab/whisper-th-large-v3:

    1. 创建文件夹：在 sp.exe(sp.py) 同级的 models 文件夹内创建 models--biodatlab--whisper-th-large-v3 文件夹并进入
    2. 打开模型下载地址： https://huggingface.co/biodatlab/whisper-th-large-v3/tree/main
    3. 将该页面的所有文件下载后复制到上面创建的文件夹内即可。

下载 openai-whisper 渠道所需模型 ​

该渠道模型是单个的.pt 文件，下载后放到 sp.py(sp.exe)同级的 models 文件夹内即可

-tiny.pt: https://openaipublic.azureedge.net/main/whisper/models/65147644a518d12f04e32d6f3b26facc3f8dd46e5390956a9424a650c0ce22b9/tiny.pt

下载 faster-whisper 渠道所需模型 ​

默认自动从https://huggingface.co 下载，该地址在国内已被屏蔽，非科学上网无法访问，国内将自动使用镜像站https://hf-mirror.com替换，但不太稳定，可能下载失败，如果失败，请手动下载，方法如下

  • tiny 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-tiny 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-tiny/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • tiny.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-tiny.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-tiny.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • base 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-base 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-base/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • base.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-base.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-base.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • small 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-small 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-small/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • small.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-small.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-small.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • medium 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-medium 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-medium/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • medium.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-medium.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-medium.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • large-v3-turbo 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--mobiuslabsgmbh--faster-whisper-large-v3-turbo 文件夹
    2. 打开模型下载地址： https://huggingface.co/mobiuslabsgmbh/faster-whisper-large-v3-turbo/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • large-v1 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-large-v1 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-large-v1/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • large-v2 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-large-v2 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-large-v2/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • large-v3 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-whisper-large-v3 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-whisper-large-v3/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • distil-small.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-small.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-small.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • distil-medium.en 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-medium.en 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-medium.en/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • distil-large-v2 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-large-v2 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-large-v2/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • distil-large-v3 模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--Systran--faster-distil-whisper-large-v3 文件夹
    2. 打开模型下载地址： https://huggingface.co/Systran/faster-distil-whisper-large-v3/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

  • distil-large-v3.5模型：

    1. 创建文件夹：在 sp.exe(sp.py) 同目录下的 models 文件夹内创建models--distil-whisper--distil-large-v3.5-ct2 文件夹
    2. 打开模型下载地址： https://huggingface.co/distil-whisper/distil-large-v3.5-ct2/tree/main
    3. 将该页面的所有 .json/.bin/.txt 文件下载后复制到上面创建文件夹内即可。

下载 M2M100 翻译模型 ​

下载地址： https://modelscope.cn/models/himyworld/videotrans/resolve/master/m2m100_12b_model.zip

解压后得到一个文件夹m2m100_12b，将该文件夹复制到 sp.py(sp.exe) 所在目录下的 models 文件夹内即可

VITS配音渠道、Piper-TTS配音渠道模型下载 ​