AI软件下载
有趣网站推荐及实用软件下载

抖音超强AI数字人视频制作软件LatentSync整合包,音频驱动口型讲话

本次和大家分享一个字节跳动开发的强大的音频驱动口型数字人视频制作软件LatentSync,我以前也分享过不少类似软件了,比如:EchoMimic、VideoReTalking、hallo。字节的推出的这个效果稍微更好一点,我制作了最新版的一键启动整合包。

————————————————

2025-03-19更新V1.5版本

2025-06-13更新v1.6版本

LatentSync官方说明

LatentSync:嘴唇同步的音频条件潜在扩散模型。我们提出了LatentSync,这是一种基于音频条件潜在扩散模型的端到端唇形同步框架,没有任何中间运动表示,与之前基于像素空间扩散或两阶段生成的基于扩散的唇形同步方法不同。我们的框架可以利用Stable Diffusion的强大功能来直接模拟复杂的视听相关性。此外,我们发现基于扩散的唇形同步方法由于不同帧间扩散过程的不一致性而表现出较差的时间一致性。我们提出了时间再现对齐(TREPA)来提高时间一致性,同时保持唇形同步的准确性。TREPA使用由大规模自监督视频模型提取的时间表示来将生成的帧与地面真实帧对齐。

LatentSync使用Whisper将融合频谱图转换为音频嵌入,然后通过交叉注意力层将其集成到U-Net中。参考帧和掩码帧与噪声延迟按信道连接,作为U-Net的输入。在训练过程中,我们使用一步法从预测的噪声中得到估计的干净延迟,然后对其进行解码以获得估计的干净帧。TREPA、LPIPS和SyncNet损耗被添加到像素空间中。

V1.5版本更新说明:

(1)通过添加时间层提高了时间一致性,(2)提高了中文视频的性能,(3)通过一系列优化将stage2训练的VRAM要求降低到20 GB。

V1.6版本更新说明:

它在 512×512 分辨率的视频上训练所得,可以缓解模糊问题。

LatentSync整合包使用说明

首先将软件压缩包下载到本地电脑并解压,双击【启动软件.exe】,稍等一会加载模型,完成后会自动打开webUI界面。

操作界面比较简单,左上部分上传视频素材,左下部分上传驱动音频,然后点击按钮Process Video即可开始合成视频。所需时间由电脑配置决定,建议英伟达显卡显存4G以上用户使用。

合成完成后右侧可播放视频或下载视频,在软件项目文件夹内的temp文件夹内也可以找到合成视频。

视频说明:https://nuowa.net/1648

注意事项

使用前先更新英伟达显卡驱动到最新版

如果视频素材和音频素材时长不一致,最终合成视频时长由最短的那个决定。

音频素材末尾最好增加0.5到1秒的静音片段,以防最终视频结尾不完整。

整合包只支持Windows 10或11系统

软件运行路径中不要有非英文字符和空格

支持英伟达50系列显卡

1.0版本电脑英伟达显存不低于6G

1.5版本电脑英伟达显存不低于8G

1.6版本电脑英伟达显存不低于12G

数字人视频制作软件LatentSync最新整合包下载链接

https://pan.quark.cn/s/5455cfb8e06d

https://pan.xunlei.com/s/VOScA02YRVdw9PE4vdY3_zaNA1?pwd=s5mg#

数字人对口型软件LatentSync本地电脑安装部署教程

https://nuowa.net/1980

领即梦AI免费积分,开启AI创作之旅:速领>>

软件催更及1对1人工答疑支持: https://nuowa.net/1806
赞(13) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

Unreal Engine 5恐怖游戏设计制作教程,从入门到精通从零开始完整项目开发详细讲解,中英文字幕-诺瓦小站

Unreal Engine 5恐怖游戏设计制作教程,从入门到精通从零开始完整项目开发详细讲解,中英文字幕

和大家分享一个以前收集的UE5虚幻引擎恐怖游戏开发教程,这是国外一个大神制作的视频教程,教程从零开始到制作出一款完整的游戏。内容讲解全面,如蓝图基础知识讲解、角色控制、高级交互系统、高级库存系统、物品检查、恐怖环境氛围设计、过场动画、AI系...

即梦AI:创作者的强力“外挂”!免费积分等你领取-诺瓦小站

即梦AI:创作者的强力“外挂”!免费积分等你领取

还在为创作图片、故事及视频内容而烦恼吗?朋友,你需要一个靠谱的“智能搭子”了!那就是即梦AI,就是那个能让你事半功倍、脑洞大开的神奇伙伴! 即梦AI,到底是什么? 简单说,即梦AI是字节跳动旗下一个强大、易用且懂你的一站式AI创作平台。&n...

支付宝发现金红包了!支付宝的羊毛快来薅💰️💰️-诺瓦小站

支付宝发现金红包了!支付宝的羊毛快来薅💰️💰️

支付宝小荷包搞活动啦,新用户加入立得2元无门槛现金红包。 支付宝小荷包是支付宝推出的一款便捷的零钱管理工具,适合日常小额支付和理财。 什么是支付宝小荷包? 支付宝小荷包,简单来说,就像是你在支付宝里的“私人金库”。它不仅支持快速转账、收款,...

美团官方发福利,吃喝玩乐外卖神券天天领-诺瓦小站

美团官方发福利,吃喝玩乐外卖神券天天领

美团官方发福利了,加美团企业微信,每天免费领各种吃喝玩乐神券,领取福利流程如下: 1、微信扫码登录↓↓↓ 2、长按添加美团企业微信 3、天天领券 每日签到领取更多红包 更有超多促销活动,限时活动,低价爆品等,让你放肆嗨吃嗨喝!

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫