再和大家分享一个基于 ComfyUI 的 AI 分段提示词图生视频工作流,本工作流主要基于模型LTX2.3和PromptRelay实现。可使用PromptRelay分时段控制生成不同视频画面或合成语音内容。
📌 工作流简介
本工作流是一套基于 Lightricks LTX-2.3 音视频大模型构建的 ComfyUI 专业级图生视频流水线,核心能力是将一张静态参考图片,结合按时间段分段编写的提示词,生成一段连贯、可控的视频内容。
工作流内置了 NAG 引导增强、多 LoRA 叠加、两阶段采样+潜空间超分放大三大核心技术模块,并通过可视化时间轴节点(PromptRelayEncodeTimeline)实现提示词随时间变化的精细控制,特别适合需要镜头语言丰富、内容节奏清晰的短视频创作场景。
✨ 核心功能特点
1. 分段时间轴提示词控制
工作流的最大亮点是内置了 Prompt Relay Encode (Timeline) 节点,支持将视频按时间段切分,每段独立编写提示词。
- 每段可设置不同的镜头语言(中景、特写、推镜等)
- 每段可设置不同的人物动作、说话内容、画面重点
- 段与段之间自动平滑过渡,时序连贯性由模型保证
- 配色区分各段,可视化直观
2. 多 LoRA 叠加增强
工作流同时加载了多个专用 LoRA,各司其职:
| LoRA | 用途 |
|---|---|
| ltx-2.3-22b-distilled-lora | 蒸馏加速,减少采样步数 |
| Ltx2.3-Licon-VBVR-I2V | 图生视频,保持参考图特征 |
| Singularity OmniCine | 运镜风格控制,画面电影感 |
| ltx2.3-ic-subtitles-remove | 去除视频中的字幕叠加 |
3. NAG 引导增强
LTX2_NAG 节点(Normalized Attention Guidance)是 LTX-2.3 的专属引导技术,在 CFG=1 的蒸馏模型上提供额外的语义引导能力,弥补低 CFG 下提示词跟随能力弱的问题。
默认参数:
- nag_scale = 11(引导强度)
- nag_alpha = 0.25(混合比例)
- nag_tau = 2.5(温度系数)
4. 两阶段采样流水线
第一阶段:正常分辨率生成,快速出图
- 采样步数:5步(蒸馏模型)
- 输出实时预览,每 24 帧刷新一次
第二阶段(默认关闭,可按需开启):潜空间超分放大
- 使用
ltx-2.3-spatial-upscaler-x2-1.1将分辨率×2放大 - 仅用 3~4 步精修 Sigmas,避免过度重绘
- 保留第一阶段的动态和结构,只增强细节
5. 音视频同步输出
工作流内置了完整的音频处理管道:
LTXVAudioVAELoader加载音频 VAELTXVEmptyLatentAudio生成音频潜空间LTXVConcatAVLatent合并音视频潜空间LTXVAudioVAEDecode解码音频VHS_VideoCombine最终合并为带音频的 MP4 文件
6. 智能尺寸自适应
LayerUtility: ImageScaleByAspectRatio V2 节点自动将输入图片:
- 按原始比例缩放
- 最长边对齐到用户设定值(默认 1280px)
- 强制对齐到 32 的倍数(LTX 模型要求)
- 自动输出宽高值给下游节点使用
🗂️ 所需模型文件清单
使用前请确保以下文件已下载并放置到对应目录:
ComfyUI/models/
├── checkpoints/
│ └── ltx-2.3-22b-dev-fp8.safetensors # 主模型(必须)
├── loras/
│ ├── ltx-2.3-22b-distilled-lora-384-1.1.safetensors # 蒸馏LoRA(必须)
│ ├── Ltx2.3-Licon-VBVR-I2V-240K-R32.safetensors # 图生视频LoRA(必须)
│ ├── Singularity LTX-2.3 OmniCine Preview v0.1.safetensors # 运镜LoRA
│ └── ltx2.3-ic-subtitles-remove-general.safetensors # 字幕去除LoRA
├── text_encoders/
│ └── gemma_3_12B_it.safetensors # 文本编码器(必须)
├── vae/
│ └── taeltx2_3.safetensors # Tiny VAE(预览用)
└── latent_upscale_models/
└── ltx-2.3-spatial-upscaler-x2-1.1.safetensors # 超分模型(第二阶段用)
所需自定义节点包:
ComfyUI-LTXVideo(Lightricks 官方)comfyui-kjnodes(KJ Nodes,含 SageAttention、NAG 等)ComfyUI-PromptRelay(kijai,时间轴提示词节点)comfyui-videohelpersuite(VHS,视频输入输出)comfyui_layerstyle(LayerStyle,图像缩放节点)comfyui-easy-use(Easy Use,辅助节点)
🚀 使用方法
第一步:准备参考图
在 LoadImage(画布左侧)节点上传一张参考图片。
- 推荐使用竖版图片(9:16),适合短视频平台
- 图片中人物的姿势、服装、背景会成为视频的初始帧
- 图片清晰度越高,生成视频质量越好
第二步:调整用户控制参数
找到画布左侧的用户控制区(黄色分组),只需修改 3 个数值:
时长(秒) → 建议从 4~5 秒开始测试
帧率 → 保持 24(无需修改)
最长边尺寸 → 建议从 768 开始,满意后再改 1024/1280
第三步:编写提示词
找到 PromptRelayEncodeTimeline 节点(最大的那个节点),修改以下内容:
全局提示词(global_prompt):描述整体画面风格、场景、画质要求,适用于所有帧。
时间轴各段提示词:在节点的可视化时间轴上点击各色块,为每段单独编写提示词。描述该段的:
- 景别(特写/中景/全景)
- 人物动作
- 镜头运动(推/拉/横移)
- 说话或互动内容
负面提示词(CLIPTextEncode 节点):描述不想出现的内容,默认已包含字幕、水印、抖动、变形等常见负面词,一般无需修改。
第四步:运行工作流
点击 Queue Prompt 开始生成。
- 第一阶段生成完成后会自动预览视频
- 对结果满意后,可选中第二阶段节点按
Q键取消 Bypass,开启超分放大 - 最终视频保存在
ComfyUI/output/目录下
⚙️ 参数调优建议
生成质量 vs 速度平衡
| 场景 | 最长边 | 时长 | 预期时间(RTX 3080 16G) |
|---|---|---|---|
| 快速测试 | 768 | 4秒 | 约 1 分钟 |
| 正常使用 | 1024 | 6秒 | 约 3 分钟 |
| 高质量输出 | 1280 | 8~10秒 | 约 8 分钟 |
LoRA 强度调节
当多个 LoRA 叠加时,总强度过高会导致画面失真或风格混乱,建议:
- 字幕去除 LoRA:0.5~0.7(勿超过 0.8)
- 运镜 OmniCine:0.5~0.7(勿超过 0.8)
- 图生视频 Licon:0.4~0.6
- 蒸馏 LoRA:0.4~0.5
图片注入强度(strength)
LTXVImgToVideoInplace 节点的 strength 参数控制参考图对视频的影响程度:
- 值越高 → 视频越贴近参考图,但动态幅度受限
- 值越低 → 动态更自由,但可能偏离参考图风格
- 推荐范围:0.55~0.75
⚠️ 注意事项
- 先更新英伟达显卡驱动到最新版
- 建议RTX30系列起,8G显存以上
- 只支持windows 10和11
常见问题
生成的视频人物面部变形 → 降低 OmniCine LoRA 强度至 0.5 以下,或在负面提示词中加入 face warp, face melt
视频段落之间过渡突兀 → 将 PromptRelayEncodeTimeline 的 epsilon 参数从 0.001 调高到 0.05~0.1
显存不足报错 → 先将最长边降至 768,时长缩短至 4 秒;或关闭第二阶段放大
字幕没有被去除 → 字幕去除 LoRA 强度调高至 0.8,并在全局提示词中加入 no subtitles, clean image
运动幅度太小,像幻灯片 → 降低 strength 到 0.55,适当提高 nag_scale 到 12~15
第二阶段放大后细节过度锐化 → 将 LTXVImgToVideoInplace(第二阶段)的 strength 从 0.7 降至 0.4~0.5
🎯 适用场景
电商直播内容生成
最契合本工作流的设计初衷。可为直播预热、商品展示、短视频素材批量生成分段展示视频,降低真人出镜的拍摄成本。
产品展示视频
将产品图片转化为动态展示视频,配合多段提示词控制镜头从全景到特写的自然过渡,适合电商详情页、广告素材制作。
虚拟主播/数字人原型验证
在正式制作前,用静态形象图快速生成动态视频样片,验证动态效果和风格方向是否符合预期。
社交媒体短视频创作
为竖屏短视频平台(抖音、小红书、视频号)批量生成风格统一的内容素材,支持 9:16 竖版输出。
影视分镜预演
用概念图快速生成动态分镜样片,辅助导演或制作团队在正式拍摄前验证镜头语言和场景设计。
企业宣传与品牌内容
将品牌视觉素材转化为动态展示视频,适合发布会、路演、官网主视觉等场景。
工作流整合包下载链接:
https://pan.quark.cn/s/fc0960db52a6
模型下载链接:
https://pan.quark.cn/s/186b6dd01260
工作流里节点提示缺少哪个模型就到网盘里下载哪个模型即可
相关推荐
最近更新
MR Office 开源编辑器集:浏览器里跑文档、表格、演示、PDF、手写与代码编辑
MR Office 开源了文档、表格、演示、PDF、手写和代码六款浏览器编辑器的源码,支持自有格式与部分通用格式,可自行构建和嵌入;读写 Microsoft Office 文件等完整能力则属于免费桌面应用。
NeonClipping:粘贴链接,约两分钟生成带字幕的竖屏切片
NeonClipping 是一个本地运行的视频切片工具,粘贴 YouTube/Twitch/Kick 链接或导入 MP4,即可生成带标题、钩子和字幕的 9:16 竖屏短片。项目用 Python 编写,支持快速与深度两种找亮点模式、11 种布局、多种字幕样式、直播切片和创作者自动切片,所有处理均在本机完成。
Blender AI 助手 mcp-for-blender-pro:把对话、场景操作与 MCP 服务装进 3D 工作区
mcp-for-blender-pro 是一个面向 Blender 的 AI 助手插件与内置 MCP 服务器,支持多模型接入、场景工具、可视化聊天和团队代理工作流,当前发布包面向 Windows x64 与 Blender 4.2+。
Timon:把多个 AI 编码代理放进同一台工作站的编排器
Timon 是一个本地运行的 AI 代理编排工作站,可把编码、审查、合并等任务分派给多个代理,并让它们在你已有的 CLI 订阅上工作。本文介绍其默认团队、功能、安装环境与适用场景。
Linger:跑在个人电脑上的开源本地 AI 助手,125B 模型装进 12GB 显卡
Linger 是一个运行在个人电脑上的开源本地 AI 助手,通过模型与运行框架协同设计,让 125B 模型在 12GB 显卡上运行。它提供本地模型自动选择、Wiki 记忆、主动式 Another Me、桌面与浏览器操作、Agent 团队和任务委派等功能,支持桌面应用和 Docker Compose 两种安装方式。
《你的下一分在哪里》:一本把 AI 公考备考方法完整开源的免费电子书
《你的下一分在哪里:AI 时代的公考备考方法》全书在 GitHub 免费开放,提供网页、PDF 和 Markdown 版本,围绕“时间×方向×纠偏”讲如何用真实记录判断下一小时该学什么。
gpucanvas:把上千个实时 DOM 节点放进无限画布
gpucanvas 是一个 TypeScript 开源项目,用 WebGPU 把上千个实时 React/DOM 节点画在无限画布上,支持编辑器选中缩放、WGSL 着色器、快照、过渡和 AI 代理视图。
Blender AI Copilot Studio:用自然语言在 Blender 里指挥 AI 搭场景
blender-ai-copilot-studio 是一个运行在 Blender 内的 AI copilot 扩展和 MCP 服务器,能把自然语言需求拆成受监督的场景操作,内置 27 个场景工具、多智能体团队链和多模型接入,并提供可视化 Studio 窗口。
32 个免费营销技能包:让 AI Agent 帮你做调研、SEO 和本地广告
Boring Marketing Skills 是一个面向 Claude Code、Codex、Cursor 等 AI Agent 的营销技能集合,共 32 个技能,覆盖品牌调研、定位、文案、本地 SEO、AI 搜索、广告投放和邮件内容,MIT 许可,无需付费工具即可使用。
DSH Game Studio:一句话生成小游戏,在 DeepSeek Harness 侧边栏里直接玩
DSH Game Studio 是一个 DeepSeek Harness 插件:用一句话描述小游戏,就能从 2D 或 3D 体素模板生成可玩游戏,在对话侧边栏实时试玩,还能换 AI 美术、自动测试、导出单文件 HTML,或一键发布到 GitHub Pages。








