这是一个基于 ComfyUI 的 LTX 2.3 音视频同步生成工作流,核心功能是上传一段音频 + 参考图片(可多张图),自动生成与音频内容对应的视频,适合制作人物说话、唱歌等口型同步视频。工作流使用8位量化版ltx2.3模型,显存需求降低生成速度更快。
主要功能
音频驱动视频生成 上传音频文件后,工作流会自动根据音频时长计算视频帧数,生成内容与音频节奏、时长完全匹配的视频,无需手动设定秒数。
人声分离 内置 MelBandRoFormer 模型,可自动将音频中的人声与背景音乐分离,默认使用分离后的人声驱动视频生成,背景音乐也会保留在最终输出中,也可以通过开关切换使用原始音频。
分段提示词控制 通过 PromptRelayEncodeTimeline 节点,可以在时间轴上为不同片段设置不同的提示词,实现镜头切换、场景变化等效果。
性能优化 集成了 SageAttention 加速和 LTXVChunkFeedForward 分块前馈,在保证画质的同时降低显存占用,大幅提升生成速度。
使用步骤
- 在音频输入节点上传
.wav格式音频文件,设置截取区间(start/end time) - 在图片输入节点上传与音频对应的参考人物图片
- 根据需要调整视频分辨率(宽 × 高),默认为竖屏 640 × 1120
- 在 Prompt Relay 节点填写全局提示词及分段描述
- 运行工作流,结果以 MP4 格式保存输出
分辨率参考
| 方向 | 可选尺寸 |
|---|---|
| 横版 | 848×480 / 960×544 / 1120×640 |
| 竖版 | 480×848 / 544×960 / 640×1120 |
| 方形 | 512×512 / 768×768 |
注意事项
- 音频格式:建议使用 WAV 格式,视频时长由音频时长自动决定
- 参考图片:图片中人物面部尽量清晰,角度正面效果更佳
- 显存需求:建议英伟达显卡30系列起,显存 8GB 以上
ltx2.3音频驱动视频生成工作流及模型下载
https://pan.quark.cn/s/186b6dd01260
本工作流文件名为“LTX2.3漫剧视频制作音频参考版.json”
相关推荐
最近更新
LTX2.3+comfyui音频驱动视频生成工作流
这是一个基于 ComfyUI 的 LTX 2.3 音视频同步生成工作流,核心功能是上传一段音频 + 参考图片(可多张图),自动生成与音频内容对应的视频,适合制作人物说话、唱歌等口型同步视频。工作流使用8位量化版ltx2.3模型,显存需求降低...
LTX2.3+comfyui分段提示词图片转视频工作流,AI视频带货生成器
再和大家分享一个基于 ComfyUI 的 AI 分段提示词图生视频工作流,本工作流主要基于模型LTX2.3和PromptRelay实现。可使用PromptRelay分时段控制生成不同视频画面或合成语音内容。 📌 工作流简介 本工作流是一套基...
windows电脑C盘垃圾查找清理软件
电脑用了好几年了,尽管我安装软件从来不主动装到C盘,偶尔也会清理垃圾,但是用的久了,容量也是在慢慢减少。我C盘303G,现在就剩了24G了,已经会影响到系统性能和虚拟内存调度了,已经不能不管了。C盘不装软件的话大多都是缓存,文件太多了,有时...

LTX2.3+comfyui视频去除字幕水印工作流分享
本次再和大家分享一个视频去字幕水印的comfyui工作流,工作流基于LTX2.3视频生成模型制作。LTX2.3是最新最强的视频生成模型,我前段时间就分享过了,可以看我另一篇文章:https://nuowa.net/2525,comfyui项...

多人对话声音克隆语音合成工具Chatterbox TTS免安装版,AI实时文字转语音
Chatterbox 是由 Resemble AI 开发的开源文本转语音(Text-to-Speech, TTS)模型,支持零样本音色克隆:只需提供一段参考音频(几秒钟的人声),即可模仿该音色朗读任意文本。我基于最新版源码制作了免安装一键启...
Mineru PDF转markdown软件局域网版
对于有的电脑配置比较低或是win7系统等电脑无法使用Mineru情况,可以使用局域网内可运行软件的电脑运行Mineru,然后其它电脑或手机等终端输入IP地址,打开运行软件的IP地址来使用Mineru。 具体用法: 下载局域网版压缩包到本地电...

OmniSVG:统一的可缩放矢量图形生成软件
OmniSVG 是一个基于视觉-语言模型(VLM)的端到端多模态 SVG(可缩放矢量图形)生成框架,由 OpenVGLab 团队开发。该项目能够从文本描述或参考图像生成高质量的 SVG 矢量图形,覆盖从简单图标...

AI实时变声器Voice Changer2.1.4 CUDA版下载,高质量RVC变声软件
Voice Changer是一款实时 AI 变声工具,允许你通过多种 AI 声音模型(如 RVC 和 Beatrice)实时转换声音。转换延迟更低,是目前社区中最受欢迎的开源实时变声方案之一。 核心特点 1. 实时性 voice-chang...

Studio One Pro 7免费开心版下载
Studio One 7是一款专业数字音频工作站(DAW)软件,它是音乐制作、混音、母带处理与现场演出一体化的旗舰软件。 ✨ 核心功能 1. AI 智能音轨分离(Stem Separation) AI 驱动的音轨分离功能允许用户将混缩后的音...
PDF转Markdown软件MinerU 3.1.11整合包(高性能版)
MinerU是一款非常热门的PDF、图片、DOCX、PPTX、XLSX转markdown格式软件,转换效果属于同类软件中比较优秀的一个。当前最新版为3.1.11版本,我基于最新版源码制作了免安装一键启动整合包,并做适当优化及修改,详情查看链...













