图片转视频AI生成跳舞视频软件StableAnimator整合包下载

本次和大家分享一个非常好玩的图片生成跳舞视频的软件StableAnimator，软件可以通过一个姿势参考视频将一张图片合成为一个视频，这个新生成的视频人物动作和驱动视频人物动作一致。也就是动作姿势转移。

StableAnimator介绍

StableAnimator是一个端到端的ID保持视频扩散框架，它在参考图像和一系列姿势的条件下，无需任何后处理即可合成高质量的视频。

概述

目前用于人体图像动画的扩散模型难以确保身份（ID）的一致性。本文介绍了StableAnimator，这是第一个端到端的ID保持视频扩散框架，它在参考图像和一系列姿势的条件下，无需任何后处理即可合成高质量的视频。基于视频扩散模型，StableAnimator包含精心设计的模块，用于训练和推理，努力实现身份一致性。特别是，StableAnimator首先分别使用现成的提取器计算图像和人脸嵌入，然后通过使用全局内容感知人脸编码器与图像嵌入进行交互来进一步细化人脸嵌入。然后，StableAnimator引入了一种新的分布感知ID适配器，该适配器可以防止时间层引起的干扰，同时通过对齐来保留ID。在推理过程中，我们提出了一种新的基于Hamilton-Jacobi-Bellman（HJB）方程的优化方法，以进一步提高人脸质量。我们证明，求解HJB方程可以集成到扩散去噪过程中，得到的解约束了去噪路径，从而有利于ID的保留。在多个基准上的实验表明了StableAnimator在定性和定量上的有效性。

StableAnimator整合包使用说明

首先到网盘内将压缩包下载到本地电脑并解压。由于软件处理过程复杂，模型非常多非常大，总共约37G，所以我没有直接打包进压缩包里，而是做了个模型下载程序，可从阿里平台直接下载，速度非常快。模型下载完成后会提示模型下载完毕，然后双击启动软件即可。

你可以直接点击按钮【4启动webUI】，使用软件自带的实例素材，或是使用你自己的参考图使用软件自带的骨骼姿势数据，直接生成视频。你也可以使用自己的驱动视频提取姿势骨骼。下面以使用自己姿势驱动视频为例讲解。

首先双击【启动软件.exe】打开启动程序，然后在【驱动视频】里选择你的姿势驱动视频，建议mp4格式，在【参考图片】里选择你要最终生成视频的人物图片。

点击【1提取视频帧】，稍等片刻软件会将视频转为图片，完成后，点击【2提取人体骨骼】，软件会提取人体骨骼姿势图，姿势图保存路径为inference\数字文件夹名\poses

点击【3提取面部蒙版】

然后点击【4启动webUI】，稍等片刻即可打开webui界面。

先上传参考图片，然后在下方输入姿势路径地址，姿势路径地址就是启动程序窗口里显示的路径地址

下面参数保持默认即可，有感兴趣的可以自行调节测试，然后点击生成视频按钮即可开始合成视频。

注意事项

图片宽度尺寸为512，图片和驱动视频尺寸请保持一致

电脑系统需要win10或11

软件运行路径中不能有空格和非英文字符

建议英伟达显卡显存6G以上用户体验

图片转跳舞视频软件StableAnimator整合包免费下载链接：