AI软件下载
有趣网站推荐及实用软件下载
当前位置：诺瓦小站 AI软件 AI视频 正文

抖音超强AI数字人视频制作软件LatentSync整合包，音频驱动口型讲话

2025-01-13 分类：AI视频 / 软件推荐 评论(0)

本次和大家分享一个字节跳动开发的强大的音频驱动口型数字人视频制作软件LatentSync，我以前也分享过不少类似软件了，比如：EchoMimic、VideoReTalking、hallo。字节的推出的这个效果稍微更好一点，我制作了最新版的一键启动整合包。

————————————————

2025-03-19更新V1.5版本

2025-06-13更新v1.6版本

文章目录 隐藏
1 LatentSync官方说明
2 LatentSync整合包使用说明
3 注意事项
4 数字人视频制作软件LatentSync最新整合包下载链接
5 数字人对口型软件LatentSync本地电脑安装部署教程

LatentSync官方说明

LatentSync：嘴唇同步的音频条件潜在扩散模型。我们提出了LatentSync，这是一种基于音频条件潜在扩散模型的端到端唇形同步框架，没有任何中间运动表示，与之前基于像素空间扩散或两阶段生成的基于扩散的唇形同步方法不同。我们的框架可以利用Stable Diffusion的强大功能来直接模拟复杂的视听相关性。此外，我们发现基于扩散的唇形同步方法由于不同帧间扩散过程的不一致性而表现出较差的时间一致性。我们提出了时间再现对齐（TREPA）来提高时间一致性，同时保持唇形同步的准确性。TREPA使用由大规模自监督视频模型提取的时间表示来将生成的帧与地面真实帧对齐。

LatentSync使用Whisper将融合频谱图转换为音频嵌入，然后通过交叉注意力层将其集成到U-Net中。参考帧和掩码帧与噪声延迟按信道连接，作为U-Net的输入。在训练过程中，我们使用一步法从预测的噪声中得到估计的干净延迟，然后对其进行解码以获得估计的干净帧。TREPA、LPIPS和SyncNet损耗被添加到像素空间中。

V1.5版本更新说明：

（1）通过添加时间层提高了时间一致性，（2）提高了中文视频的性能，（3）通过一系列优化将stage2训练的VRAM要求降低到20 GB。

V1.6版本更新说明：

它在 512×512 分辨率的视频上训练所得，可以缓解模糊问题。

LatentSync整合包使用说明

首先将软件压缩包下载到本地电脑并解压，双击【启动软件.exe】，稍等一会加载模型，完成后会自动打开webUI界面。

操作界面比较简单，左上部分上传视频素材，左下部分上传驱动音频，然后点击按钮Process Video即可开始合成视频。所需时间由电脑配置决定，建议英伟达显卡显存4G以上用户使用。

合成完成后右侧可播放视频或下载视频，在软件项目文件夹内的temp文件夹内也可以找到合成视频。

视频说明：https://nuowa.net/1648

注意事项

如果视频素材和音频素材时长不一致，最终合成视频时长由最短的那个决定。

音频素材末尾最好增加0.5到1秒的静音片段，以防最终视频结尾不完整。

整合包只支持Windows 10或11系统

软件运行路径中不要有非英文字符和空格

支持英伟达50系列显卡

1.0版本电脑英伟达显存不低于6G

1.5版本电脑英伟达显存不低于8G

1.6版本电脑英伟达显存不低于12G

数字人视频制作软件LatentSync最新整合包下载链接

https://pan.quark.cn/s/5455cfb8e06d

https://pan.xunlei.com/s/VOScA02YRVdw9PE4vdY3_zaNA1?pwd=s5mg#

数字人对口型软件LatentSync本地电脑安装部署教程

https://nuowa.net/1980

可灵AI限时福利速度领取>>

软件催更及1对1人工答疑支持： https://nuowa.net/1806
赞(10) 打赏
软件无法使用？点击查看常见问题说明>>
分享到

相关推荐

最近更新

可灵AI会员专属优惠邀请码，限时福利领取-诺瓦小站

可灵AI会员专属优惠邀请码，限时福利领取

可灵AI发福利了，通过专属优惠邀请码 6BZPEJK83JZ9 可额外获得50%灵感值。 现在图片、音乐、视频等等，啥都可以用AI生成，可灵AI就是快手旗下非常强大的一个AI内容创作平台，功能多样，效果强大。我最近半年几乎每周都会使用多次，...

赞(0)羊毛

热门文章

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏，我将有更多的动力继续提供优质内容，让我们一起创建更加美好的世界！

支付宝扫一扫

微信扫一扫