本次分享一个非常强大的音乐音效生成软件AudioX,这个软件可以通过提供文本、视频、图像、音乐和音频自动识别内容重新生成一段高质量的通用音频和音乐。

AudioX介绍
音频和音乐生成已成为众多应用中的关键任务,然而现有方法面临诸多限制:它们各自为政,缺乏跨模态的统一能力,缺乏高质量的多模态训练数据,并且难以有效地整合不同的输入。在本研究中,我们提出了 AudioX,一个用于“任何内容到音频”和“音乐”生成的统一的扩散变换器 (Diffusion Transformer) 模型。与以往的特定领域模型不同,AudioX 可以生成高质量的通用音频和音乐,同时提供灵活的自然语言控制,并无缝处理包括文本、视频、图像、音乐和音频在内的各种模态。其关键创新在于一种多模态掩蔽训练策略,该策略可以掩蔽跨模态的输入,并迫使模型从掩蔽的输入中学习,从而产生稳健且统一的跨模态表征。为了解决数据稀缺问题,我们整理了两个全面的数据集:基于 VGGSound 数据集的包含 19 万条音频字幕的 vggsound-caps,以及源自 V2M 数据集的包含 600 万条音乐字幕的 V2M-caps。大量实验表明,AudioX 不仅能与最先进的专业模型匹敌或超越它们,而且在统一架构内处理各种输入模式和生成任务方面也具有出色的多功能性。
AudioX整合包使用说明
首先将网盘内的软件压缩包下载到本地电脑上并解压,然后双击启动软件.exe打开软件启动webui
稍等片刻启动成功后会自动打开webui页面。
webui界面提供了文本合成音效和音乐,视频生成音效和音乐功能。
首先在顶部prompt输入框中输入想要生成音频内容的英文描述词。然后点击下面的Generate按钮即可生成音频或是音乐。你可以在下方Sampler Params中设置sample size值来设置音频时长,原来音频只能生成10秒,这里给稍微做了下代码修改。音频时长=sample size÷sample rate。
如果想给视频增加音效的话,可以在Video Path中输入视频路径或是点击下方Upload Video File上传视频文件。
可以输入文本描述词为视频添加指定音效,也可以让软件自动识别视频内容自动添加音效。
##代码略作修改,解除10秒音频时长限制
视频教程及效果演示:https://nuowa.net/1789
注意事项
软件整合包只支持英伟达30或40系列显卡电脑
只支持windows10或11
软件运行路径中不要有非英文字符和空格,待处理文件同样要注意
音乐音效生成软件AudioX整合包下载链接
相关推荐
最近更新

支付宝发现金红包了!支付宝的羊毛快来薅💰️💰️
支付宝小荷包搞活动啦,新用户加入立得2元无门槛现金红包。 支付宝小荷包是支付宝推出的一款便捷的零钱管理工具,适合日常小额支付和理财。 什么是支付宝小荷包? 支付宝小荷包,简单来说,就像是你在支付宝里的“私人金库”。它不仅支持快速转账、收款,...

美团官方发福利,吃喝玩乐外卖神券天天领
美团官方发福利了,加美团企业微信,每天免费领各种吃喝玩乐神券,领取福利流程如下: 1、微信扫码登录↓↓↓ 2、长按添加美团企业微信 3、天天领券 每日签到领取更多红包 更有超多促销活动,限时活动,低价爆品等,让你放肆嗨吃嗨喝!

免费PDF文档翻译软件BabelDOC整合包下载,AI一键PDF全文翻译工具
分享另一个热门的PDF文档翻译软件BabelDOC,软件可以将PDF文档由原语言翻译成指定语言文档,基于在线大语言模型处理能力,文档翻译效果更准确,并保留排版,支持批量文档翻译,我制作了最新版免安装一键启动整合包。 BabelDOC介绍 另...

AI歌曲创作软件YuE整合包下载,一键谱曲演唱音乐生成器
YuE:开放的全曲音乐生成基础模型,可免费一键生成完整歌曲,AI作曲,AI演唱,是一个高质量的AI音乐生成软件。我制作了最新的面安装一键启动整合包。 YuE介绍 YuE 是一系列突破性的开源基础模型,专为音乐生成而设计,尤其适用于将歌词转化...

可灵AI会员专属优惠邀请码,限时福利领取
可灵AI发福利了,通过专属优惠邀请码 6BZPEJK83JZ9 可额外获得50%灵感值。 现在图片、音乐、视频等等,啥都可以用AI生成,可灵AI就是快手旗下非常强大的一个AI内容创作平台,功能多样,效果强大。我最近半年几乎每周都会使用多次,...

多人对话语音合成软件CSM整合包,AI多人文字转语音工具
CSM是发布不久的一款多人对话语音生成模型,声音自然延迟低,同时支持克隆音色语音合成,我基于当前最新版本制作了免安装一键启动整合包。 Sesame CSM介绍 CSM(Conversational Speech Model) 是由...

AI自动化任务执行工具OpenManus一键启动整合包
OpenManus是另一款AI自动化任务执行软件,是Manus的开源实现,无需邀请码,本地运行,我基于当前最新版本制作了免安装一键启动整合包。 OpenManus介绍 OpenManus 是一个开源复刻版 AI 智能体框架,由 MetaGP...

CAMEL-AI开源多智能体协作框架OWL一键整合包,自动化任务助手
OWL 是由 CAMEL-AI 团队开发的开源多智能体协作框架,旨在通过动态智能体交互实现复杂任务的自动化处理,在 GAIA 基准测试中以 69.09 分位列开源框架榜首,被誉为“Manus 的开源平替”。我基于当前最新...

微软PDF/WORD/HTML文档转Markdown格式软件markitdown整合包下载
本次和大家分享另一个微软发布的非常热门的文件文档转Markdown格式文档的软件markitdown,软件可以将PDF,word,ppt,Excel等十几种格式文档转换为markdown格式文档,我基于当前最新0.1.2版本制作了免安装一键...

AI描述万物软件describe-anything整合包,精准描述图片视频中指定区域内容
本次和大家分享一个英伟达联合其他大学开发的一款应用describe-anything,该应用可以通过AI识别分析并详细描述图片视频中指定区域物体内容,我基于最新版制作了免安装一键启动整合包。 describe-anything介绍 Desc...