AutoVidDub支持分角色配音的全自动视频翻译配音加字幕工具

支持分角色配音的全自动流水线，一键将外语视频转为带母语配音和双语字幕的目标语言视频。

一、软件简介

AutoVidDub 是一套运行在本地 GPU 上的全自动视频翻译配音工具。你只需提供一个视频文件，它就能自动完成以下全部工序：

1. 语音识别 + 说话人分离 — 谁在什么时候说了什么，逐字时间戳对齐
2. 字幕切分 — 合理的断句方案，即不影响观看也不妨碍理解文字内容
3. AI 翻译 — 调用大语言模型 API 将原文翻译为目标语言，翻译更准确
4. TTS 音色克隆配音 — 保持原说话人的音色、语气，用目标语言重新朗读
5. 时间轴对齐 — 合理处理配音，让每句话精确落在原时间槽内，不截断句子
6. 视频合成 — 合并配音轨 + 可选烧录双语字幕，输出最终视频

二、核心功能特点

🌟 分角色配音

自动识别视频中有几个说话人，为每个说话人提取音色参考。合成配音时，张三说的话用张三的音色读目标语言，李四的话用李四的音色，保留原声的情感语气。

🌟 双语字幕 + 配音同步

生成双语 SRT 字幕（原文在上、翻译在下），同时用目标语言合成配音。时间轴对齐无截断，确保每句话完整可懂。

🌟 10 种翻译目标语言

视频支持52种语言方言的语音识别，TTS配音合成支持 10 种语言：

🌟 灵活的视频合成

可选择是否烧录字幕到最终视频：勾选则生成带双语字幕的配音视频；不勾选则只合成画面 + 配音，字幕以独立的 SRT 文件保存，可后期自行处理。

🌟 两步操作设计

界面分为两步独立操作：

1. 生成字幕（ASR + 翻译 + 导出 SRT）—— 只需 ASR 模型，速度快
2. 合成配音（TTS + 对齐 + 视频合成）—— 需要 TTS 模型，检查第一步生成的 SRT 文件存在后才会执行

两步独立完成，第二步会先检查第一步是否已完成；关掉程序重新打开后，只要第一步生成的 SRT 文件还在，可以直接跳过第一步执行第二步。

🌟 支持批量处理

既支持单个视频文件，也支持文件夹批量处理。选择文件夹后，自动遍历文件夹内全部 mp4/avi/mov/mkv/flv/wmv/webm 文件，逐个全自动处理。

三、界面说明

📂 输入设置

⚙️ 识别参数

🔤 字幕字体设置

🌐 API 设置

▶️ 处理控制

四、使用步骤

0️⃣ 准备工作

1. NVIDIA GPU 推荐：模型推理需要 GPU（CUDA），显存建议 ≥6GB
2. 获取 API Key：点击”获取 API KEY“链接注册并创建密钥
3. 将软件压缩包下载到本地电脑上并解压，双击启动软件.bat自动打开webui操作界面

1️⃣ 选择输入

• 处理单个文件：输入方式选”单文件上传”，点击上传按钮选择视频
• 批量处理：输入方式选”文件夹批量处理”，填入存放视频的文件夹路径

2️⃣ 配置参数

• 选择原视频的 ASR 识别语言（一般选”自动识别”即可）
• 选择翻译目标语言（如”中文”）
• 填入 API Key（翻译必须）
• 根据需要选字体、勾选是否烧录字幕

3️⃣ 第一步：生成字幕

点击 “📝 第一步：生成字幕”。程序依次执行：

• 提取音频 → 说话人分离 → ASR 语音识别 → 字幕切分 → AI 逐条翻译 → 导出双语 SRT + 数据文件

在第5步（翻译）时确保有 API Key 可用。 完成后输出目录 output/<视频文件名>/ 中会生成双语字幕 .bilingual.srt 。

4️⃣ 第二步：合成配音

点击 “🎙️ 第二步：合成配音”，程序会自动：

• 检查第一步的 SRT 文件是否存在（不存在则提示）
• 提取音频用于音色参考 → 构建说话人音色管理器 → TTS 批量合成配音
• 时间轴按比例对齐 → 合并完整配音轨 → 合成最终视频

最终产出：

• output/<视频文件名>/<文件名>_dubbed.mp4 — 最终配音视频
• output/<视频文件名>/<文件名>_dubbed.wav — 完整配音音频（可单独使用）
• output/<视频文件名>/<文件名>.bilingual.srt — 双语字幕文件

五、注意事项

⚠️ 硬件要求

• 推荐英伟达显卡显存 ≥6GB
• CPU 模式可用但极慢
• 模型首次加载较慢，属于正常现象

⚠️ 已知限制

• 目前仅支持单声道 16kHz 音频处理
• 背景音乐/噪音严重的视频可能影响 ASR 准确率和音色提取效果

AutoVidDub全自动视频翻译配音加字幕工具v0.1版下载链接

有任何使用中的问题可随时向我反馈，我会在后续版本中优化改进