今天和大家分享一个很好玩的软件video-retalking,这个软件可以基于音频素材重新生成人物说话视频,实现音频与人物的口型同步,最后生成的视频画面是原视频画面,声音为音频素材的声音,这个软件是免费开源软件,原项目地址:https://github.com/OpenTalker/video-retalking,应用界面截图如下:
官方软件说明
给定一个说话的头部视频,我们首先使用表情编辑网络根据相同的表情模板修改每一帧的表情,从而生成具有规范表情的视频。然后,将此视频与给定的音频一起输入到口型同步网络中以生成口型同步视频。最后,我们通过身份感知面部增强网络和后期处理来提高合成面部的照片真实感。我们对所有三个步骤都使用基于学习的方法,并且我们的所有模块都可以在连续的管道中处理,而无需任何用户干预。
软件使用比较简单,只需要输入一个人物讲话视频和一个待使用的讲话音频文件,然后点击Synthesize按钮等待合成视频即可,本应用对电脑配置要求比较高。
本整合包为Windows电脑版,有感兴趣的可以自己去体验一下,
音频驱动口型生成视频软件video-retalking整合包下载: