本次和大家分享一个音频驱动口型数字人视频制作工具VideoReTalking,这个软件可以根据一段音频对视频中的人物重新生成口型,可以实现音频口型同步,重新生成一段自然流畅的人物说话视频,本应用为免费开源应用。
VideoReTalking软件介绍:
VideoReTalking,这是一种新系统,可根据输入音频编辑真实世界中说话人脸视频的面部,即使表情不同,也能制作出高质量且口型同步的输出视频。我们的系统将这一目标分解为三个连续的任务:
(1) 具有规范表情的面部视频生成
(2) 音频驱动的口型同步和
(3) 面部增强以提高照片真实感。
给定一个说话的头部视频,我们首先使用表情编辑网络根据相同的表情模板修改每一帧的表情,从而生成具有规范表情的视频。然后,将此视频与给定的音频一起输入到口型同步网络中以生成口型同步视频。最后,我们通过身份感知面部增强网络和后期处理来提高合成面部的照片真实感。我们对所有三个步骤都使用基于学习的方法,并且我们的所有模块都可以在连续的管道中处理,而无需任何用户干预。
VideoReTalking生成视频效果演示
VideoReTalking原项目地址:https://github.com/OpenTalker/video-retalking
对口型数字人视频制作软件VideoReTalking整合包下载链接:
1V1答疑支持
爱发电:点击前往