Wan2.2-S2V-14B:音频驱动图片转视频生成本地整合包及在线一键启动

Wan2.2-S2V-14B是阿里通义团队开源的一个视频生成模型，可以通过音频驱动将图片合成为一段人物讲话视频，人物讲话内容就是音频素材内容。同时支持cosyvoice声音克隆的文字转语音合成。

Wan2.2-S2V-14B官方介绍

Wan2.2-S2V-14B模型专为音频驱动的电影视频生成而设计

当前最先进的（SOTA）音频驱动角色动画方法在主要涉及语音和歌唱的场景中表现出色。然而，在更复杂的电影和电视制作中，它们往往无法满足对细腻的角色互动、逼真的身体动作和动态摄像工作的需求。为了解决实现电影级角色动画这一长期挑战，我们提出了一种基于Wan的音频驱动模型，我们称之为Wan-S2V。与现有方法相比，我们的模型在电影情境下显著增强了表现力和保真度。我们进行了广泛的实验，将我们的方法与前沿模型如Hunyuan-Avatar和Omnihuman进行了基准测试。实验结果一致表明，我们的方法显著优于这些现有的解决方案。此外，我们通过其在长视频生成和精确视频唇同步编辑中的应用探索了该方法的多功能性。

Wan2.2是Wan2.1视频模型的重大升级。在Wan2.2中，我们专注于引入以下创新：

• 👍 有效的MoE架构：Wan2.2将混合专家（MoE）架构引入视频扩散模型。通过用专门的强大专家模型分离跨时间步的去噪过程，这扩大了整体模型容量，同时保持相同的计算成本。
• 👍 电影级美学：Wan2.2整合了精心策划的美学数据，包括详细的照明、构图、对比度、色调等标签。这使得可以更精确和可控地生成电影风格，有助于创建具有可定制美学偏好的视频。
• 👍 复杂运动生成：与Wan2.1相比，Wan2.2在更大的数据集上训练，图像增加了+65.6%，视频增加了+83.2%。这种扩展显著提高了模型在多个维度上的泛化能力，如运动、语义和美学，在所有开源和闭源模型中达到顶级性能。
• 👍 高效的高清混合TI2V：Wan2.2开源了一个使用我们先进的Wan2.2-VAE构建的5B模型，实现了16×16×4的压缩比。该模型支持720P分辨率24fps的文字到视频和图像到视频生成，并且可以在像4090这样的消费级显卡上运行。它是目前可用的最快的720P@24fps模型之一，能够同时服务于工业界和学术界。

S2V-14B支持480P & 720P视频生成

Wan2.2-S2V-14B整合包使用说明

我基于当前最新版本制作了免安装一键启动整合包，并制作了一个方便操作的WebUI界面。

首先将网盘内的软件压缩包下载到本地电脑上并解压。

先运行下载模型，模型总共约45.7G

模型下载完成后再运行启动软件.bat，启动成功后会自动打开WebUI界面

操作界面功能比较直观，没什么复杂的。

操作步骤：

先上传一张图片，再上传一段音频素材，音频时长最好不要太长，可能最好不要超过15秒，未测试长音频。

分辨率支持：720 1280,1280 720,480 832,832 480,704 1280,1280 704,1024 704,704 1024

分辨率越大对显卡显存要求越高，视频生成时间也越长，建议分辨率480*832，高分辨率太耗时，已超出可接受时间了

推理帧数可保持默认，值太低的话可能会导致画面异常

其它参数保持默认即可

如果不想上传音频素材文件的话，可以使用cosyvoice声音克隆功能生成一段新音频

在【语音合成】中，勾选启用使用cosyvoice语音合成，上传音色样本文件，音色样本最好3-10秒干净音频，输入音色样本文本内容，输入待合成语音的文本内容。就可以生成一段新的音频用于视频合成。

也可以使用【姿势驱动】控制人物动作。

如果显卡显存低出现爆显存的话，可以勾选【模型卸载】，【转换模型精度】，【T5模型在CPU上运行】

视频教程及效果演示：https://nuowa.net/2201

注意事项

软件运行时内存使用峰值超55G

英伟达显卡显存16G以上，建议48G起，

支持英伟达50系列显卡

只支持windows10或11

使用前请先更新英伟达显卡驱动

Wan2.2-S2V-14B整合包下载链接

Wan2.2-S2V-14B在线一键启动

点击使用云镜像>>

Wan2.2-S2V-14B本地电脑部署教程

https://nuowa.net/2197