higgs-audio是本月刚发布的一款非常强大的文字转语音工具,上线不到一个月就获得了5.9K个星,可以说是非常热门的项目了。这个软件可以实现文字转语音及声音克隆功能,不过可以实现这个功能的这类软件很多,higgs-audio只是说好一点而已,我感觉它更厉害的地方是可以实现声音克隆的同时用指定音色合成对话语音,包括支持中文对话,这点是我更喜欢的。之前测试过类似软件如Dia等,支持语言有限,不支持中文。higgs-audio还是更强大一些。

higgs-audio官方介绍
我们开源了 Higgs Audio v2,这是一个强大的音频基础模型,已基于超过 1000 万小时的音频数据和丰富的文本数据进行预训练。尽管无需后期训练或微调,Higgs Audio v2 凭借其对语言和声学的深度理解,在富有表现力的音频生成方面表现出色。
在EmergentTTS-Eval 测试中,它在“情绪”和“问题”类别上分别比“gpt-4o-mini-tts”取得了75.7%和55.7%的胜率。此外,它在 Seed-TTS Eval 和情感语音数据集 (ESD) 等传统 TTS 基准测试中也取得了最佳性能。此外,该模型还展示了以往系统罕见的功能,包括生成多种语言的自然多说话人对话、旁白过程中的自动韵律调整、使用克隆声音进行旋律哼唱以及同时生成语音和背景音乐。
higgs-audio整合包使用说明
首先将网盘内的软件压缩包下载到本地电脑上并解压,然后双击启动软件.exe启动。第一次使用的时候软件会自动下载模型文件。如果网络异常无法自动下载模型的话,可以将网盘内的hf.zip压缩包下载到项目文件夹higgs-audio内解压,注意不要有文件夹嵌套情况,文件夹层级结构如:higgs-audio–>hf–>models–bosonai–higgs-audio-v2-generation-3B-base
待合成文本:就是你想要生成语音的文本内容。如果要生成对话语音的话,请把文本内容保存到txt文档中,然后将txt文档导入到软件中即可。
输入框中直接输入txt文档路径地址,或是鼠标左键按住txt文档拖到软件窗口里就可以把txt文档路径导入到软件。多人对话文本格式如下:
[SPEAKER0] I can't believe you did that without even asking me first!
[SPEAKER1] Oh, come on! It wasn't a big deal, and I knew you would overreact like this.
[SPEAKER0] Overreact? You made a decision that affects both of us without even considering my opinion!
[SPEAKER1] Because I didn't have time to sit around waiting for you to make up your mind! Someone had to act.
参考音频:合成语音想要使用的声音音色,留空的话随机使用已有音色。添加新音色方法:准备一段3-10的wav格式的音频文件,和同文件名的txt文档,txt文档内容为wav音频文本内容。将wav音频和txt文档复制到voice_prompts文件夹内。重启软件就可以在参考音频后面下拉列表中看到添加的声音。鼠标点击列表名字可直接添加到前面的文本框内,单一说话人就选一个发音人,多人对话的话就选多个发音人,多个发音人之间用英文逗号”,”隔开。
最大tokens:要生成的新令牌的最大数量,整数类型,如2048,
temperature:用于对下一个词元概率进行取模运算的值,小数类型,如1.0,0.3
AISM:是否在系统消息中包含语音提示描述。
块方法:用于对提示文本进行分块的方法。选项有“speaker”(按说话者)、“word”(按单词)。默认情况下,默认为空,如果生成多人对话,请选择speaker。
seed:随机种子,整数类型,如123 , 56987 等,用于重现相同声音。如果语音合成声音异常的话,可尝试修改seed值,或是将值设置为-1
场景描述:用于生成的场景描述提示。
具体参数效果可以自己生成音频体验。
视频教程及效果演示:https://www.bilibili.com/video/BV1T98CzcEbt/
注意事项
使用前先将英伟达显卡驱动更新到最新版本
英伟达显卡显存不低于6G
软件程序运行路径中请不要有非英文字符及空格
软件只支持Windows 10或11,不支持手机和MAC系统
声音克隆及多人对话语音合成软件higgs-audio整合包下载
https://pan.quark.cn/s/98c9872273c3
higgs-audio本地电脑安装部署教程
相关推荐
最近更新

凡人修仙传动画韩立高清图片壁纸素材AI绘画图集
恭迎韩天尊! 祝贺韩天尊顺利结婴! 热门国漫凡人修仙传动画已经更新了5年了,最新一集,主人公韩立顺利结婴,成为一名元婴修士。我属于是比较喜欢看动漫的,看过的动漫估计没过百也得大几十了,热门国漫大多都看过。凡人修仙传算是最喜欢的动漫之一,韩立...

凡人修仙传动画紫灵高清图片壁纸素材AI绘画图集,AI国漫女神系列
凡人修仙传动画乱星海第一美女紫灵是大家非常喜欢的一个角色,动画人物造型精美,是众多女性角色中最受欢迎之一,热度极高。很多人喜欢收集紫灵的图片,但是视频里截图的话可能截不到喜欢的图,下面分享一些紫灵的AI绘画图片素材,图片都是SD生成的,都是...

凡人修仙传动画宋玉高清图片壁纸素材AI绘画图集,AI国漫女神系列
凡人修仙传动画里宋玉是大家比较喜欢的一个角色,动画人物造型精美,当前热度极高。虽然凡人修仙传原著里只是韩老魔的弟子,但是很多短视频创作者非常能整活,已经把宋玉纳入韩老魔后宫了。很多人喜欢收集宋玉的图片,但是视频里截图的话可能截不到喜欢的图,...

凡人修仙传动画人物梅凝高清壁纸素材AI绘画图片,AI国漫女神系列
有些人比较喜欢凡人修仙传动画里梅凝这个角色,视频里截图的话可能截不到喜欢的图,下面分享一些梅凝的AI绘画图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。部分梅凝图片如下: 图片及模型文件下载链接: https://pa...

凡人修仙传动画人物范静梅高清壁纸素材图片,AI国漫女神系列
本次分享的是凡人修仙传动画人物范静梅的AI图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。部分范静梅图片如下: 图片及模型文件下载链接: https://pan.xunlei.com/s/VOXgauAl7VsuksE...

凡人修仙传动画银月高清壁纸素材图片,AI国漫女神系列
本次分享的是凡人修仙传动画人物银月AI图片素材,图片都是SD生成的,都是高清大图,非凡人修仙传动画视频截图。这次生成的不多,部分图片如下: 图片及模型文件下载链接: https://pan.quark.cn/s/1bd714c2d5e7 h...

图片元数据信息删除工具,支持windows/mac/Linux
有些图片可能会附带很多的信息,如果你想把图片的元数据信息删除的话,可以使用exifcleaner,这是一款用于清理图像元数据的跨平台桌面 GUI 应用程序,软件支持支持 Linux、macOS 10.10+ 和 Windows 7+(仅限 ...

凡人修仙传动画慕沛灵高清壁纸图片,单人AI图片素材
最近需要用到凡人修仙传动画里人物图片,直接在视频里截图的话要么身体姿势不对要么就身体不完整等,截不到想要的图,然后就炼了一批AI图,这次分享的这些都是慕沛灵的单人图片,全身照,都是高清的,由于只需要竖屏,所以我没生成横屏图片。喜欢的可以拿去...

免费在线视频去水印工具方法
本次分享一个免费的在线视频去水印工具–记灵 这个在线工具目前是完全免费的,上传mp4视频文件,然后鼠标框选去水印区域,然后点击处理等待处理完成就可以了,操作非常简单。 这个去水印工具是采用打码的方式覆盖原水印区域的,并不是AI智...

即梦AI(可灵)视频制作9种电影级运镜提示词,小白秒变大导演
视频制作方式多种多样,想做出一个观感体验极佳的精彩视频,运镜效果少不了。这里整理了9种实用的电影级运镜方式,学会这些运镜小白也可以成为大导演。你可以将这些运镜效果用在即梦或可灵AI中视频生成的时候,提供了运镜参考关键词,如果不会写关键词的,...