AI软件下载
有趣网站推荐及实用软件下载
当前位置：诺瓦小站 AI软件 AI视频 正文

抖音超强AI数字人视频制作软件LatentSync整合包，音频驱动口型讲话

2025-01-13 分类：AI视频 / 软件推荐 评论(0)

本次和大家分享一个字节跳动开发的强大的音频驱动口型数字人视频制作软件LatentSync，我以前也分享过不少类似软件了，比如：EchoMimic、VideoReTalking、hallo。字节的推出的这个效果稍微更好一点，我制作了最新版的一键启动整合包。

————————————————

2025-03-19更新V1.5版本

文章目录 隐藏
1 LatentSync官方说明
2 LatentSync整合包使用说明
3 注意事项
4 数字人视频制作软件LatentSync整合包下载链接

LatentSync官方说明

LatentSync：嘴唇同步的音频条件潜在扩散模型。我们提出了LatentSync，这是一种基于音频条件潜在扩散模型的端到端唇形同步框架，没有任何中间运动表示，与之前基于像素空间扩散或两阶段生成的基于扩散的唇形同步方法不同。我们的框架可以利用Stable Diffusion的强大功能来直接模拟复杂的视听相关性。此外，我们发现基于扩散的唇形同步方法由于不同帧间扩散过程的不一致性而表现出较差的时间一致性。我们提出了时间再现对齐（TREPA）来提高时间一致性，同时保持唇形同步的准确性。TREPA使用由大规模自监督视频模型提取的时间表示来将生成的帧与地面真实帧对齐。

LatentSync使用Whisper将融合频谱图转换为音频嵌入，然后通过交叉注意力层将其集成到U-Net中。参考帧和掩码帧与噪声延迟按信道连接，作为U-Net的输入。在训练过程中，我们使用一步法从预测的噪声中得到估计的干净延迟，然后对其进行解码以获得估计的干净帧。TREPA、LPIPS和SyncNet损耗被添加到像素空间中。

V1.5版本更新说明：

（1）通过添加时间层提高了时间一致性，（2）提高了中文视频的性能，（3）通过一系列优化将stage2训练的VRAM要求降低到20 GB。

LatentSync整合包使用说明

首先将软件压缩包下载到本地电脑并解压，双击【启动软件.exe】，稍等一会加载模型，完成后会自动打开webUI界面。

操作界面比较简单，左上部分上传视频素材，左下部分上传驱动音频，然后点击按钮Process Video即可开始合成视频。所需时间由电脑配置决定，建议英伟达显卡显存4G以上用户使用。

合成完成后右侧可播放视频或下载视频，在软件项目文件夹内的temp文件夹内也可以找到合成视频。

视频说明：https://nuowa.net/1648

注意事项

如果视频素材和音频素材时长不一致，最终合成视频时长由最短的那个决定。

音频素材末尾最好增加0.5到1秒的静音片段，以防最终视频结尾不完整。

整合包只支持Windows 10或11系统

软件运行路径中不要有非英文字符和空格

1.5版本建议英伟达显卡显存6G以上用户体验

数字人视频制作软件LatentSync整合包下载链接

此内容仅限VIP查看，请先
可通过每日签到获得积分兑换VIP

1.5版本下载链接：

此内容仅限VIP查看，请先
可通过每日签到获得积分兑换VIP

电脑不给力运行不了？试试高配云电脑>>

软件催更及1对1人工答疑支持： https://nuowa.net/1806
赞(9) 打赏
软件无法使用？点击查看常见问题说明>>
分享到

相关推荐

最近更新

临时邮箱，一次性匿名gmail.com邮箱

有时候网站需要测试一些功能，比如注册登录等，需要用到邮箱，但是自己的邮箱有限，不能更多的测试效果，这时候就需要一些不同后缀的一次性邮箱，网上有很多这样的一次性匿名邮箱，后缀很多，非常适合测试使用，下面分享几个比较好用的临时邮箱。 Gmail...

赞(0)趣站

热门文章

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏，我将有更多的动力继续提供优质内容，让我们一起创建更加美好的世界！

支付宝扫一扫

微信扫一扫