本次分享一个非常强大的音乐音效生成软件AudioX,这个软件可以通过提供文本、视频、图像、音乐和音频自动识别内容重新生成一段高质量的通用音频和音乐。

AudioX介绍
音频和音乐生成已成为众多应用中的关键任务,然而现有方法面临诸多限制:它们各自为政,缺乏跨模态的统一能力,缺乏高质量的多模态训练数据,并且难以有效地整合不同的输入。在本研究中,我们提出了 AudioX,一个用于“任何内容到音频”和“音乐”生成的统一的扩散变换器 (Diffusion Transformer) 模型。与以往的特定领域模型不同,AudioX 可以生成高质量的通用音频和音乐,同时提供灵活的自然语言控制,并无缝处理包括文本、视频、图像、音乐和音频在内的各种模态。其关键创新在于一种多模态掩蔽训练策略,该策略可以掩蔽跨模态的输入,并迫使模型从掩蔽的输入中学习,从而产生稳健且统一的跨模态表征。为了解决数据稀缺问题,我们整理了两个全面的数据集:基于 VGGSound 数据集的包含 19 万条音频字幕的 vggsound-caps,以及源自 V2M 数据集的包含 600 万条音乐字幕的 V2M-caps。大量实验表明,AudioX 不仅能与最先进的专业模型匹敌或超越它们,而且在统一架构内处理各种输入模式和生成任务方面也具有出色的多功能性。
AudioX整合包使用说明
首先将网盘内的软件压缩包下载到本地电脑上并解压,然后双击启动软件.exe打开软件启动webui
稍等片刻启动成功后会自动打开webui页面。
webui界面提供了文本合成音效和音乐,视频生成音效和音乐功能。
首先在顶部prompt输入框中输入想要生成音频内容的英文描述词。然后点击下面的Generate按钮即可生成音频或是音乐。你可以在下方Sampler Params中设置sample size值来设置音频时长,原来音频只能生成10秒,这里给稍微做了下代码修改。音频时长=sample size÷sample rate。
如果想给视频增加音效的话,可以在Video Path中输入视频路径或是点击下方Upload Video File上传视频文件。
可以输入文本描述词为视频添加指定音效,也可以让软件自动识别视频内容自动添加音效。
##代码略作修改,解除10秒音频时长限制
视频教程及效果演示:https://nuowa.net/1789
注意事项
软件整合包只支持英伟达30或40系列显卡电脑
只支持windows10或11
软件运行路径中不要有非英文字符和空格,待处理文件同样要注意
音乐音效生成软件AudioX整合包下载链接
https://pan.quark.cn/s/1eb91866528d
https://pan.baidu.com/s/1_dccvq1RkKlrlaXGX0adlQ?pwd=cmea
相关推荐
最近更新

虚拟试衣产品设计多图合成软件UNO一键启动整合包,人物转动漫工具
UNO是字节跳动开发的一款多主体图像生成软件,解决了角色或物体一致性的问题,可用于漫画、虚拟试衣等场景。我基于当前最新版本制作了免安装一键启动整合包。 UNO介绍 UNO是一款基于扩散模型的AI图像生成工具,核心目标是解决AI生成图像时难以...

临时邮箱,一次性匿名gmail.com邮箱
有时候网站需要测试一些功能,比如注册登录等,需要用到邮箱,但是自己的邮箱有限,不能更多的测试效果,这时候就需要一些不同后缀的一次性邮箱,网上有很多这样的一次性匿名邮箱,后缀很多,非常适合测试使用,下面分享几个比较好用的临时邮箱。 Gmail...

免费AI视频生成软件FramePack整合包下载,本地离线AI图片转视频工具
前段时间阿里开源了一个AI视频生成工具WAN2.1,可以实现文本转视频和图片转视频,虽说很强大,但是测试之后感觉软件对电脑配置要求太高了,感觉应该大部分用户都用不了,而且只支持720P视频,清晰度有些低,所以没和大家分享。前些天又出了一个更...

PDF OCR图片文字内容识别软件OCRmyPDF下载,免费PDF扫描内容转可搜索可复制工具
本次和大家分享一个非常热门强大的PDF文件内容OCR识别软件OCRmyPDF,这个软件可以将PDF内不可搜索的图片和文字识别转换为可复制可搜索的文本,并对PDF文件进行优化。 OCRmyPDF介绍 OCRmyPDF 为扫描的 PDF 文件添...

免费音效音乐生成软件AudioX整合包下载,快速音效配音工具
本次分享一个非常强大的音乐音效生成软件AudioX,这个软件可以通过提供文本、视频、图像、音乐和音频自动识别内容重新生成一段高质量的通用音频和音乐。 AudioX介绍 音频和音乐生成已成为众多应用中的关键任务,然而现有方法面临诸多限制:它们...

高质量高性能文本转语音系统index-tts整合包下载,高效声音克隆软件
今天再和大家分享另一个刚发布的强大的声音克隆软件index-tts,针对中文优化,效果有了极大提升,远超同类软件。稍微测试了一下,感觉要比我前天分享的spark-tts声音克隆效果更好一些,音频情感更丰富点。 index-tts声音克隆软件...

检测和删除高相似度图片软件AntiDupl免费下载
前几天整理手机图片,手机中拍了大量的图片,很多图片是连拍的,图片的相似度极高,甚至就是一模一样的图片,有时候看相册的时候会删除掉这些图片,有时候忘了删。在电脑上整理备份的时候这些高相似度的图片比较占空间,也会额外增加处理时间,所以想找个图片...

文本转语音及声音克隆软件Spark-TTS整合包下载
Spark-TTS是最近发布的一款比较热门的文字转语音及声音克隆软件,操作简单,效果强大。 Spark-TTS介绍 概述 Spark-TTS 是一款先进的文本转语音系统,它利用大型语言模型 (LLM) 的强大功能,实现高精度、自然的语音合成...

AI快速建模文本转3D模型软件Cube3D整合包,obj网格文件标记化处理工具
本次和大家分享另一个刚发布不久的文本转3D模型软件Cube3D,软件可以通过输入文本描述词AI快速生成3D网格模型文件,还支持OBJ文件标记化处理功能。 Cube3D介绍 Roblox 3D智能基础模型 Cube 3D是我们迈向3D智能的第...

免费图片视频摄像头换脸软件VisoMaster整合包下载,面部表情实时调节预览
本次再和大家分享一个上个月刚发布的换脸软件VisoMaster,软件支持图片视频换脸,也支持摄像头实时换脸,我制作了最新版一键启动整合包。 VisoMaster介绍 VisoMaster是一款功能强大且易于使用的工具,用于图像和视频中的面部...