本次和大家分享一个字节跳动开发的强大的音频驱动口型数字人视频制作软件LatentSync，我以前也分享过不少类似软件了，比如：EchoMimic、VideoReTalking、hallo。字节的推出的这个效果稍微更好一点，我制作了最新版的一键启动整合包。
————————————————
2025-03-19更新V1.5版本
LatentSync官方说明
LatentSync：嘴唇同步的音频条件潜在扩散模型。我们提出了LatentSync，这是一种基于音频条件潜在扩散模型的端到端唇形同步框架，没有任何中间运动表示，与之前基于像素空间扩散或两阶段生成的基于扩散的唇形同步方法不同。我们的框架可以利用Stable Diffusion的强大功能来直接模拟复杂的视听相关性。此外，我们发现基于扩散的唇形同步方法由于不同帧间扩散过程的不一致性而表现出较差的时间一致性。我们提出了时间再现对齐（TREPA）来提高时间一致性，同时保持唇形同步的准确性。TREPA使用由大规模自监督视频模型提取的时间表示来将生成的帧与地面真实帧对齐。
LatentSync使用Whisper将融合频谱图转换为音频嵌入，然后通过交叉注意力层将其集成到U-Net中。参考帧和掩码帧与噪声延迟按信道连接，作为U-Net的输入。在训练过程中，我们使用一步法从预测的噪声中得到估计的干净延迟，然后对其进行解码以获得估计的干净帧。TREPA、LPIPS和SyncNet损耗被添加到像素空间中。
V1.5版本更新说明：
（1）通过添加时间层提高了时间一致性，（2）提高了中文视频的性能，（3）通过一系列优化将stage2训练的VRAM要求降低到20 GB。
LatentSync整合包使用说明
首先将软件压缩包下载到本地电脑并解压，双击【启动软件.exe】，稍等一会加载模型，完成后会自动打开webUI界面。
操作界面比较简单，左上部分上传视频素材，左下部分上传驱动音频，然后点击按钮Process Video即可开始合成视频。所需时间由电脑配置决定，建议英伟达显卡显存4G以上用户使用。
合成完成后右侧可播放视频或下载视频，在软件项目文件夹内的temp文件夹内也可以找到合成视频。
注意事项
如果视频素材和音频素材时长不一致，最终合成视频时长由最短的那个决定。
音频素材末尾最好增加0.5到1秒的静音片段，以防最终视频结尾不完整。
整合包只支持Windows 10或11系统
软件运行路径中不要有非英文字符和空格
1.5版本建议英伟达显卡显存6G以上用户体验
数字人视频制作软件LatentSync整合包下载链接
https://pan.quark.cn/s/5455cfb8e06d
1.5版本下载链接：
https://pan.quark.cn/s/d227252ae2aa
https://pan.xunlei.com/s/VOLntGHeuE_uHB86I7p_tdw2A1?pwd=5hgm#
相关推荐
音频驱动口型超逼真数字人视频制作软件Sonic整合包下载
字节跳动唇形同步数字人视频制作软件LatentSync整合包使用说明视频教程- 图片数字人视频制作软件LivePortrait v20250101整合包下载，图片转视频工具
- 超强AI数字人EchoMimicV2一张半身照片即可生成一段主播解说视频，整合包下载
- 音频驱动口型数字人视频制作软件VideoReTalking整合包，音频视频人物对口型
- 音频驱动数字人视频制作EchoMimic整合包，免费让照片图片开口说话的软件
- 音频驱动口型生成视频软件video-retalking整合包免费下载，基于音频的唇形同步工具
- 免费AI视频生成软件FramePack整合包下载，本地离线AI图片转视频工具
最近更新
临时邮箱，一次性匿名gmail.com邮箱
有时候网站需要测试一些功能，比如注册登录等，需要用到邮箱，但是自己的邮箱有限，不能更多的测试效果，这时候就需要一些不同后缀的一次性邮箱，网上有很多这样的一次性匿名邮箱，后缀很多，非常适合测试使用，下面分享几个比较好用的临时邮箱。 Gmail...
免费AI视频生成软件FramePack整合包下载，本地离线AI图片转视频工具
前段时间阿里开源了一个AI视频生成工具WAN2.1，可以实现文本转视频和图片转视频，虽说很强大，但是测试之后感觉软件对电脑配置要求太高了，感觉应该大部分用户都用不了，而且只支持720P视频，清晰度有些低，所以没和大家分享。前些天又出了一个更...
PDF OCR图片文字内容识别软件OCRmyPDF下载，免费PDF扫描内容转可搜索可复制工具
本次和大家分享一个非常热门强大的PDF文件内容OCR识别软件OCRmyPDF，这个软件可以将PDF内不可搜索的图片和文字识别转换为可复制可搜索的文本，并对PDF文件进行优化。 OCRmyPDF介绍 OCRmyPDF 为扫描的 PDF 文件添...
免费音效音乐生成软件AudioX整合包下载，快速音效配音工具
本次分享一个非常强大的音乐音效生成软件AudioX，这个软件可以通过提供文本、视频、图像、音乐和音频自动识别内容重新生成一段高质量的通用音频和音乐。 AudioX介绍 音频和音乐生成已成为众多应用中的关键任务，然而现有方法面临诸多限制：它们...
高质量高性能文本转语音系统index-tts整合包下载，高效声音克隆软件
今天再和大家分享另一个刚发布的强大的声音克隆软件index-tts，针对中文优化，效果有了极大提升，远超同类软件。稍微测试了一下，感觉要比我前天分享的spark-tts声音克隆效果更好一些，音频情感更丰富点。 index-tts声音克隆软件...
检测和删除高相似度图片软件AntiDupl免费下载
前几天整理手机图片，手机中拍了大量的图片，很多图片是连拍的，图片的相似度极高，甚至就是一模一样的图片，有时候看相册的时候会删除掉这些图片，有时候忘了删。在电脑上整理备份的时候这些高相似度的图片比较占空间，也会额外增加处理时间，所以想找个图片...
文本转语音及声音克隆软件Spark-TTS整合包下载
Spark-TTS是最近发布的一款比较热门的文字转语音及声音克隆软件，操作简单，效果强大。 Spark-TTS介绍 概述 Spark-TTS 是一款先进的文本转语音系统，它利用大型语言模型 (LLM) 的强大功能，实现高精度、自然的语音合成...
AI快速建模文本转3D模型软件Cube3D整合包，obj网格文件标记化处理工具
本次和大家分享另一个刚发布不久的文本转3D模型软件Cube3D，软件可以通过输入文本描述词AI快速生成3D网格模型文件，还支持OBJ文件标记化处理功能。 Cube3D介绍 Roblox 3D智能基础模型 Cube 3D是我们迈向3D智能的第...
免费图片视频摄像头换脸软件VisoMaster整合包下载，面部表情实时调节预览
本次再和大家分享一个上个月刚发布的换脸软件VisoMaster，软件支持图片视频换脸，也支持摄像头实时换脸，我制作了最新版一键启动整合包。 VisoMaster介绍 VisoMaster是一款功能强大且易于使用的工具，用于图像和视频中的面部...
项目实操变现思路分享之AI绘画
本次和大家分享的实操项目变现思路是AI绘画相关的，虽然AI绘画已经火了很久了，但是仍有很多玩法，有了其它一些AI工具的加持，操作起来也更容易，项目具体内容请看PDF文档。 教程链接： https://afdian.com/p/982e793...
