本次和大家分享一个字节跳动开发的强大的音频驱动口型数字人视频制作软件LatentSync,我以前也分享过不少类似软件了,比如:EchoMimic、VideoReTalking、hallo。字节的推出的这个效果稍微更好一点,我制作了最新版的一键启动整合包。
————————————————
2025-03-19更新V1.5版本
2025-06-13更新v1.6版本

LatentSync官方说明
LatentSync:嘴唇同步的音频条件潜在扩散模型。我们提出了LatentSync,这是一种基于音频条件潜在扩散模型的端到端唇形同步框架,没有任何中间运动表示,与之前基于像素空间扩散或两阶段生成的基于扩散的唇形同步方法不同。我们的框架可以利用Stable Diffusion的强大功能来直接模拟复杂的视听相关性。此外,我们发现基于扩散的唇形同步方法由于不同帧间扩散过程的不一致性而表现出较差的时间一致性。我们提出了时间再现对齐(TREPA)来提高时间一致性,同时保持唇形同步的准确性。TREPA使用由大规模自监督视频模型提取的时间表示来将生成的帧与地面真实帧对齐。
LatentSync使用Whisper将融合频谱图转换为音频嵌入,然后通过交叉注意力层将其集成到U-Net中。参考帧和掩码帧与噪声延迟按信道连接,作为U-Net的输入。在训练过程中,我们使用一步法从预测的噪声中得到估计的干净延迟,然后对其进行解码以获得估计的干净帧。TREPA、LPIPS和SyncNet损耗被添加到像素空间中。
V1.5版本更新说明:
(1)通过添加时间层提高了时间一致性,(2)提高了中文视频的性能,(3)通过一系列优化将stage2训练的VRAM要求降低到20 GB。
V1.6版本更新说明:
它在 512×512 分辨率的视频上训练所得,可以缓解模糊问题。
LatentSync整合包使用说明
首先将软件压缩包下载到本地电脑并解压,双击【启动软件.exe】,稍等一会加载模型,完成后会自动打开webUI界面。
操作界面比较简单,左上部分上传视频素材,左下部分上传驱动音频,然后点击按钮Process Video即可开始合成视频。所需时间由电脑配置决定,建议英伟达显卡显存4G以上用户使用。
合成完成后右侧可播放视频或下载视频,在软件项目文件夹内的temp文件夹内也可以找到合成视频。
注意事项
使用前先更新英伟达显卡驱动到最新版
如果视频素材和音频素材时长不一致,最终合成视频时长由最短的那个决定。
音频素材末尾最好增加0.5到1秒的静音片段,以防最终视频结尾不完整。
整合包只支持Windows 10或11系统
软件运行路径中不要有非英文字符和空格
支持英伟达50系列显卡
1.0版本电脑英伟达显存不低于6G
1.5版本电脑英伟达显存不低于8G
1.6版本电脑英伟达显存不低于12G
数字人视频制作软件LatentSync最新整合包下载链接
https://pan.quark.cn/s/5455cfb8e06d
https://pan.xunlei.com/s/VOScA02YRVdw9PE4vdY3_zaNA1?pwd=s5mg#
数字人对口型软件LatentSync本地电脑安装部署教程
相关推荐
音频驱动口型超逼真数字人视频制作软件Sonic整合包下载
字节跳动唇形同步数字人视频制作软件LatentSync整合包使用说明视频教程
图片数字人视频制作软件LivePortrait整合包下载,图片转视频动物人物表情转移工具
超强AI数字人EchoMimicV2一张半身照片即可生成一段主播解说视频,整合包下载
音频驱动口型数字人视频制作软件VideoReTalking整合包,音频视频人物对口型
音频驱动数字人视频制作EchoMimic整合包,免费让照片图片开口说话的软件
音频驱动口型生成视频软件video-retalking整合包免费下载,基于音频的唇形同步工具
2D照片转3D视频软件stable-virtual-camera免安装一键启动整合包下载
最近更新

抖音出品高质量声音克隆文字转语音合成软件MegaTTS3整合包下载
MegaTTS3是抖音团队联合国内其他大学研发的一款语音合成及声音克隆应用,可实现零样本语音克隆及富有情感的自然语音合成。我基于当前最新版制作了免安装一键启动整合包。 MegaTTS3介绍 MegaTTS 3 是字节跳动(ByteDance...

副业变现项目分享20250709期

有声读物制作软件audiblez整合包下载,将epub电子书转为m4b有声书
和大家分享一个方便快捷的有声书制作软件audiblez,audiblez可以将epub格式电子书快速转为m4b有声书,支持合成中文,英语,日语等八国语言语音,本地离线操作,不依赖云端服务。我基于最新版制作了免安装一键启动整合包。 audib...

百度夸克webdav服务+alist+RaiDrive,将网盘挂载为本地电脑硬盘方法教程
由于每天都要操作网盘不下十几次,频繁启动网盘比较麻烦。 使用百度夸克网盘的webdav服务可以将百度夸克网盘挂载到本地电脑上,就像操作本地电脑硬盘一样操作网盘,非常方便。我们以alist+raidrive为例演示。 首先打开百度网盘pan....

Unreal Engine 5恐怖游戏设计制作教程,从入门到精通从零开始完整项目开发详细讲解,中英文字幕
和大家分享一个以前收集的UE5虚幻引擎恐怖游戏开发教程,这是国外一个大神制作的视频教程,教程从零开始到制作出一款完整的游戏。内容讲解全面,如蓝图基础知识讲解、角色控制、高级交互系统、高级库存系统、物品检查、恐怖环境氛围设计、过场动画、AI系...

PDF/图片转markdown软件MonkeyOCR整合包,文档图片解析工具下载
MonkeyOCR是上个月刚发布的一款文档解析工具,可以将PDF文档或图片识别转换为markdown格式文件。官方测试显示性能极佳。我基于当前最新版制作了免安装一键启动整合包,支持批量操作,并降低了显卡要求。 MonkeyOCR官方介绍 M...

AI视频变现项目,完整详细教程20250628期

即梦AI:创作者的强力“外挂”!免费积分等你领取
还在为创作图片、故事及视频内容而烦恼吗?朋友,你需要一个靠谱的“智能搭子”了!那就是即梦AI,就是那个能让你事半功倍、脑洞大开的神奇伙伴! 即梦AI,到底是什么? 简单说,即梦AI是字节跳动旗下一个强大、易用且懂你的一站式AI创作平台。&n...

支付宝发现金红包了!支付宝的羊毛快来薅💰️💰️
支付宝小荷包搞活动啦,新用户加入立得2元无门槛现金红包。 支付宝小荷包是支付宝推出的一款便捷的零钱管理工具,适合日常小额支付和理财。 什么是支付宝小荷包? 支付宝小荷包,简单来说,就像是你在支付宝里的“私人金库”。它不仅支持快速转账、收款,...

美团官方发福利,吃喝玩乐外卖神券天天领
美团官方发福利了,加美团企业微信,每天免费领各种吃喝玩乐神券,领取福利流程如下: 1、微信扫码登录↓↓↓ 2、长按添加美团企业微信 3、天天领券 每日签到领取更多红包 更有超多促销活动,限时活动,低价爆品等,让你放肆嗨吃嗨喝!