Skip to content

多角色配音分为 基于字幕的多角色配音基于视频的多角色配音 2种方式

一:基于字幕的多角色配音

从 v3.74 后新增了"字幕多角色配音"功能,点击左侧工具栏的字幕多角色配音按钮,在弹出的窗口中,导入需要配音的 srt 字幕,然后为每条字幕分别设置一个角色,即可实现多角色发音。


二:基于视频的原声克隆和多角色配音

自定义视频翻译功能中,可在配音渠道中选择F5-TTS/index-tts/clone-voice/CosyVoice/GPT-SOVITS/Chatterbox等,选中clone角色,将会以原声音作为参考音频进行配音,得到原音色的配音。

使用 clone-voice 配音渠道

需要安装 https://github.com/jianchang512/clone-voice 项目,打开该项目主页后,仔细阅读说明,可使用源码部署该 clone-voice 项目,如果是 Windows系统,也可直接右侧中部找到 Releases (https://github.com/jianchang512/clone-voice/releases) ,直接下载整合包,下载解压后双击 app.exe 即可启动。

当显示启动成功后,将默认api地址 http://127.0.0.1:9988 填写到视频翻译软件 菜单--TTS设置--原音色克隆 clone-voice 的 http地址内,测试无问题后就可开始使用了

image.png

使用 CosyVoice 配音渠道

同样需要安装 CosyVoice 项目,安装教程详见 https://pyvideotrans.com/cosyvoice.html

当然也可以使用第三方整合包,但第三方整合包不支持克隆音色,只可指定固定音频。

按教程安装后,到这个地址 https://github.com/jianchang512/cosyvoice-api/blob/main/api.py 下载 api.py 文件,放到 CosyVoice 项目下,和 webui.py 文件在同一目录下。

image.png

image.png

然后启动 api.py,并将api地址填写到视频翻译软件 菜单--TTS设置-CosyVoice 的api地址中,默认地址 http://127.0.0.1:9233

image.png

使用 F5-TTS 配音渠道

需要安装 F5-TTS 项目,详细安装教程见 https://pyvideotrans.com/f5tts.html

填写到视频翻译软件菜单-TTS设置-F5-TTS api地址中

image.png

主界面中角色选择 clone,就可以进行克隆音色配音了

注意,除了 clone-voice 支持十多种语言外,F5-TTS、CosyVoice只支持中英语言克隆

image.png

设置多个角色

同样在自定义视频翻译功能中,选择单个要处理的视频,在翻译阶段结束后,会暂停,此时可在右侧界面为每条字幕单独设置一个角色,从而实现多角色配音。

在主界面的配音角色中需要选择一个默认配音角色,如果不单独设置,则统统使用该默认角色

p1