多角色配音分为 基于字幕的多角色配音
和 基于视频的多角色配音
2种方式
一:基于字幕的多角色配音
从 v3.74 后新增了"字幕多角色配音"功能,点击左侧工具栏的字幕多角色配音
按钮,在弹出的窗口中,导入需要配音的 srt 字幕,然后为每条字幕分别设置一个角色,即可实现多角色发音。
二:基于视频的原声克隆和多角色配音
在自定义视频翻译
功能中,可在配音渠道中选择F5-TTS/index-tts/clone-voice/CosyVoice/GPT-SOVITS/Chatterbox
等,选中clone
角色,将会以原声音作为参考音频进行配音,得到原音色的配音。
使用 clone-voice 配音渠道
需要安装 https://github.com/jianchang512/clone-voice 项目,打开该项目主页后,仔细阅读说明,可使用源码部署该 clone-voice 项目,如果是 Windows系统,也可直接右侧中部找到 Releases (https://github.com/jianchang512/clone-voice/releases) ,直接下载整合包,下载解压后双击 app.exe
即可启动。
当显示启动成功后,将默认api地址 http://127.0.0.1:9988
填写到视频翻译软件 菜单--TTS设置--原音色克隆 clone-voice 的 http地址内,测试无问题后就可开始使用了
使用 CosyVoice 配音渠道
同样需要安装 CosyVoice 项目,安装教程详见 https://pyvideotrans.com/cosyvoice.html
当然也可以使用第三方整合包,但第三方整合包不支持克隆音色,只可指定固定音频。
按教程安装后,到这个地址 https://github.com/jianchang512/cosyvoice-api/blob/main/api.py 下载 api.py
文件,放到 CosyVoice 项目下,和 webui.py 文件在同一目录下。
然后启动 api.py,并将api地址填写到视频翻译软件 菜单--TTS设置-CosyVoice 的api地址中,默认地址 http://127.0.0.1:9233
使用 F5-TTS 配音渠道
需要安装 F5-TTS 项目,详细安装教程见 https://pyvideotrans.com/f5tts.html
填写到视频翻译软件菜单-TTS设置-F5-TTS api地址中
主界面中角色选择 clone,就可以进行克隆音色配音了
注意,除了 clone-voice 支持十多种语言外,F5-TTS、CosyVoice只支持中英语言克隆
设置多个角色
同样在自定义视频翻译
功能中,选择单个要处理的视频,在翻译阶段结束后,会暂停,此时可在右侧界面为每条字幕单独设置一个角色,从而实现多角色配音。
在主界面的配音角色中需要选择一个默认配音角色,如果不单独设置,则统统使用该默认角色