本次和大家分享一个字节跳动开发的强大的音频驱动口型数字人视频制作软件LatentSync，我以前也分享过不少类似软件了，比如：EchoMimic、VideoReTalking、hallo。字节的推出的这个效果稍微更好一点，我制作了最新版的一键启动整合包。
————————————————
2025-03-19更新V1.5版本
LatentSync官方说明
LatentSync：嘴唇同步的音频条件潜在扩散模型。我们提出了LatentSync，这是一种基于音频条件潜在扩散模型的端到端唇形同步框架，没有任何中间运动表示，与之前基于像素空间扩散或两阶段生成的基于扩散的唇形同步方法不同。我们的框架可以利用Stable Diffusion的强大功能来直接模拟复杂的视听相关性。此外，我们发现基于扩散的唇形同步方法由于不同帧间扩散过程的不一致性而表现出较差的时间一致性。我们提出了时间再现对齐（TREPA）来提高时间一致性，同时保持唇形同步的准确性。TREPA使用由大规模自监督视频模型提取的时间表示来将生成的帧与地面真实帧对齐。
LatentSync使用Whisper将融合频谱图转换为音频嵌入，然后通过交叉注意力层将其集成到U-Net中。参考帧和掩码帧与噪声延迟按信道连接，作为U-Net的输入。在训练过程中，我们使用一步法从预测的噪声中得到估计的干净延迟，然后对其进行解码以获得估计的干净帧。TREPA、LPIPS和SyncNet损耗被添加到像素空间中。
V1.5版本更新说明：
（1）通过添加时间层提高了时间一致性，（2）提高了中文视频的性能，（3）通过一系列优化将stage2训练的VRAM要求降低到20 GB。
LatentSync整合包使用说明
首先将软件压缩包下载到本地电脑并解压，双击【启动软件.exe】，稍等一会加载模型，完成后会自动打开webUI界面。
操作界面比较简单，左上部分上传视频素材，左下部分上传驱动音频，然后点击按钮Process Video即可开始合成视频。所需时间由电脑配置决定，建议英伟达显卡显存4G以上用户使用。
合成完成后右侧可播放视频或下载视频，在软件项目文件夹内的temp文件夹内也可以找到合成视频。
注意事项
如果视频素材和音频素材时长不一致，最终合成视频时长由最短的那个决定。
音频素材末尾最好增加0.5到1秒的静音片段，以防最终视频结尾不完整。
整合包只支持Windows 10或11系统
软件运行路径中不要有非英文字符和空格
1.5版本建议英伟达显卡显存6G以上用户体验
数字人视频制作软件LatentSync整合包下载链接
https://pan.quark.cn/s/5455cfb8e06d
1.5版本下载链接：
https://pan.quark.cn/s/d227252ae2aa
https://pan.xunlei.com/s/VOLntGHeuE_uHB86I7p_tdw2A1?pwd=5hgm#
