本次和大家分享一个字节跳动开发的强大的音频驱动口型数字人视频制作软件LatentSync，我以前也分享过不少类似软件了，比如：EchoMimic、VideoReTalking、hallo。字节的推出的这个效果稍微更好一点，我制作了最新版的一键启动整合包。
————————————————
2025-03-19更新V1.5版本
2025-06-13更新v1.6版本
LatentSync官方说明
LatentSync：嘴唇同步的音频条件潜在扩散模型。我们提出了LatentSync，这是一种基于音频条件潜在扩散模型的端到端唇形同步框架，没有任何中间运动表示，与之前基于像素空间扩散或两阶段生成的基于扩散的唇形同步方法不同。我们的框架可以利用Stable Diffusion的强大功能来直接模拟复杂的视听相关性。此外，我们发现基于扩散的唇形同步方法由于不同帧间扩散过程的不一致性而表现出较差的时间一致性。我们提出了时间再现对齐（TREPA）来提高时间一致性，同时保持唇形同步的准确性。TREPA使用由大规模自监督视频模型提取的时间表示来将生成的帧与地面真实帧对齐。
LatentSync使用Whisper将融合频谱图转换为音频嵌入，然后通过交叉注意力层将其集成到U-Net中。参考帧和掩码帧与噪声延迟按信道连接，作为U-Net的输入。在训练过程中，我们使用一步法从预测的噪声中得到估计的干净延迟，然后对其进行解码以获得估计的干净帧。TREPA、LPIPS和SyncNet损耗被添加到像素空间中。
V1.5版本更新说明：
（1）通过添加时间层提高了时间一致性，（2）提高了中文视频的性能，（3）通过一系列优化将stage2训练的VRAM要求降低到20 GB。
V1.6版本更新说明：
它在 512×512 分辨率的视频上训练所得，可以缓解模糊问题。
LatentSync整合包使用说明
首先将软件压缩包下载到本地电脑并解压，双击【启动软件.exe】，稍等一会加载模型，完成后会自动打开webUI界面。
操作界面比较简单，左上部分上传视频素材，左下部分上传驱动音频，然后点击按钮Process Video即可开始合成视频。所需时间由电脑配置决定，建议英伟达显卡显存4G以上用户使用。
合成完成后右侧可播放视频或下载视频，在软件项目文件夹内的temp文件夹内也可以找到合成视频。
注意事项
使用前先更新英伟达显卡驱动到最新版
如果视频素材和音频素材时长不一致，最终合成视频时长由最短的那个决定。
音频素材末尾最好增加0.5到1秒的静音片段，以防最终视频结尾不完整。
整合包只支持Windows 10或11系统
软件运行路径中不要有非英文字符和空格
支持英伟达50系列显卡
1.0版本电脑英伟达显存不低于6G
1.5版本电脑英伟达显存不低于8G
1.6版本电脑英伟达显存不低于12G
数字人视频制作软件LatentSync最新整合包下载链接
https://pan.quark.cn/s/5455cfb8e06d
https://pan.xunlei.com/s/VOScA02YRVdw9PE4vdY3_zaNA1?pwd=s5mg#
数字人对口型软件LatentSync本地电脑安装部署教程
相关推荐
音频驱动口型超逼真数字人视频制作软件Sonic整合包下载- 字节跳动唇形同步数字人视频制作软件LatentSync整合包使用说明视频教程
- 图片数字人视频制作软件LivePortrait整合包下载，图片转视频动物人物表情转移工具
- 超强AI数字人EchoMimicV2一张半身照片即可生成一段主播解说视频，整合包下载
- 音频驱动口型数字人视频制作软件VideoReTalking整合包，音频视频人物对口型
- 音频驱动数字人视频制作EchoMimic整合包，免费让照片图片开口说话的软件
- 音频驱动口型生成视频软件video-retalking整合包免费下载，基于音频的唇形同步工具
- 2D照片转3D视频软件stable-virtual-camera免安装一键启动整合包下载
最近更新
凡人修仙传动画宋玉高清图片壁纸素材AI绘画图集，AI国漫女神系列
凡人修仙传动画里宋玉是大家比较喜欢的一个角色，动画人物造型精美，当前热度极高。虽然凡人修仙传原著里只是韩老魔的弟子，但是很多短视频创作者非常能整活，已经把宋玉纳入韩老魔后宫了。很多人喜欢收集宋玉的图片，但是视频里截图的话可能截不到喜欢的图，...
凡人修仙传动画人物梅凝高清壁纸素材AI绘画图片，AI国漫女神系列
有些人比较喜欢凡人修仙传动画里梅凝这个角色，视频里截图的话可能截不到喜欢的图，下面分享一些梅凝的AI绘画图片素材，图片都是SD生成的，都是高清大图，非凡人修仙传动画视频截图。部分梅凝图片如下： 图片及模型文件下载链接： https://pa...
凡人修仙传动画人物范静梅高清壁纸素材图片，AI国漫女神系列
本次分享的是凡人修仙传动画人物范静梅的AI图片素材，图片都是SD生成的，都是高清大图，非凡人修仙传动画视频截图。部分范静梅图片如下： 图片及模型文件下载链接： https://pan.xunlei.com/s/VOXgauAl7VsuksE...
凡人修仙传动画银月高清壁纸素材图片，AI国漫女神系列
本次分享的是凡人修仙传动画人物银月AI图片素材，图片都是SD生成的，都是高清大图，非凡人修仙传动画视频截图。这次生成的不多，部分图片如下： 图片及模型文件下载链接： https://pan.quark.cn/s/1bd714c2d5e7 h...
图片元数据信息删除工具，支持windows/mac/Linux
有些图片可能会附带很多的信息，如果你想把图片的元数据信息删除的话，可以使用exifcleaner，这是一款用于清理图像元数据的跨平台桌面 GUI 应用程序，软件支持支持 Linux、macOS 10.10+ 和 Windows 7+（仅限 ...
凡人修仙传动画慕沛灵高清壁纸图片，单人AI图片素材
最近需要用到凡人修仙传动画里人物图片，直接在视频里截图的话要么身体姿势不对要么就身体不完整等，截不到想要的图，然后就炼了一批AI图，这次分享的这些都是慕沛灵的单人图片，全身照，都是高清的，由于只需要竖屏，所以我没生成横屏图片。喜欢的可以拿去...
免费在线视频去水印工具方法
本次分享一个免费的在线视频去水印工具–记灵 这个在线工具目前是完全免费的，上传mp4视频文件，然后鼠标框选去水印区域，然后点击处理等待处理完成就可以了，操作非常简单。 这个去水印工具是采用打码的方式覆盖原水印区域的，并不是AI智...
即梦AI(可灵)视频制作9种电影级运镜提示词，小白秒变大导演
视频制作方式多种多样，想做出一个观感体验极佳的精彩视频，运镜效果少不了。这里整理了9种实用的电影级运镜方式，学会这些运镜小白也可以成为大导演。你可以将这些运镜效果用在即梦或可灵AI中视频生成的时候，提供了运镜参考关键词，如果不会写关键词的，...
带声音克隆功能的对话型文字转语音软件higgs-audio免安装一键启动整合包下载
higgs-audio是本月刚发布的一款非常强大的文字转语音工具，上线不到一个月就获得了5.9K个星，可以说是非常热门的项目了。这个软件可以实现文字转语音及声音克隆功能，不过可以实现这个功能的这类软件很多，higgs-audio只是说好一点...
本地离线翻译软件LibreTranslate免安装一键启动包下载
LibreTranslate是一款热门的免费本地离线翻译软件，无需联网，方便某些电脑无法联网但需要进行翻译的场景使用。我制作了最新版免安装一键启动整合包，下载解压即用。 LibreTranslate介绍 免费开源机器翻译 API，完全自托管...
