AI软件下载
有趣网站推荐及实用软件下载

Scarlet:让 AI 代理动手剪片,你只管做创作判断的开源视频编辑器

Scarlet 是一款面向 macOS、Windows 和 Linux 的开源 AI 视频编辑器。它的核心思路很直接:由 AI 代理负责修改剪辑决策列表,Scarlet 负责渲染视频,你负责做创作判断。你可以用文字、语音,或者直接在暂停的画面上画框,告诉 Claude Code 或 Codex 想改哪里,几秒内就能在时间线上听到修改后的效果,而原始素材始终保持不变。项目当前在 GitHub 上获得 593 颗星、72 次 Fork,主要使用 TypeScript 开发,采用 MIT 许可证。

它解决什么问题

传统剪辑流程中,改动一个片段往往要等待完整重新渲染,或者反复在时间线上翻找。Scarlet 的做法是只渲染受影响的几秒钟,其余部分从缓存片段中拼接,因此即使面对较长的录制素材,回放也能保持流畅。它特别适合对话密集的素材,例如访谈、口播视频、播客和屏幕演示,同时让每一次编辑都有版本记录,并且是非破坏性的。

功能特点

用对话、语音或画面标注来编辑

  • 自带 AI 代理:在设置中连接 Claude Code 或 Codex,使用你已有的订阅。Scarlet 通过 MCP 在本地运行代理,不需要额外支付 AI 费用,也不用折腾终端。
  • 语音或文字,整片或精确位置:在输入框中打字,或按住 V 说话。既可以要求对整段视频做处理,也可以通过暂停、拖动时间线、在标尺上框选范围(支持帧级放大镜),或在转录文本中高亮词语来定位具体位置。
  • 直接在画面上画(M):在暂停的视频帧上涂画、框选或点选,让代理准确看到你指的是画面中的哪一部分。也可以把参考图或 PDF 品牌指南直接拖进消息框。
  • 非破坏性版本历史:每次编辑都会保存一个新的时间线版本。可以在历史记录中回退到之前的剪辑,或用 ⌘Z / Ctrl+Z 撤销保留、拒绝和修改操作。

快速审阅、前后对比与实时转录

  • 局部片段渲染:只重新渲染改动附近的几秒,其余部分从缓存拼接,长录制的回放速度不受影响。
  • 即时前后对比():打开时间线上方的任意编辑卡片或剪切卡片,按 即可在被移除的素材和新拼接点之间切换。点击剪切卡片上的转录图标,可以看到被划掉的删除词语及其所在句子。
  • 聚焦式“For you”审阅队列:有把握的编辑直接进入工作时间线;需要判断或标记的编辑则留在 For you 队列中。用 ↑ / ↓ 逐条浏览,按 K(保留)、A(批准)、S(跳过)、R(修改)或 ×(拒绝)处理。
  • 可搜索的转录栏:从菜单打开 Transcript,可以在播放器旁同步阅读、搜索说过的短语、点击任意词语跳转播放头,或选中一段话进行提问。
  • 并行修改:可以同时对多个不同的剪切或编辑提出修改请求,Scarlet 会为每个请求运行代理,并安全地将整片请求排队。

内置编辑工作流(Skills)与 Learnings

在输入框中键入 / 即可运行 Scarlet 的内置编辑工作流。每个工作流都是一份可编辑的 Markdown 指南,在所有项目间共享,可以在设置中自定义,也可以把一次批准的编辑变成可复用的技能。

  • /dialogue-pass:删除错误开头、重复镜头、语气词和空白停顿,同时保留自然节奏,并标记需要人工判断的地方。
  • /frame-screen:在屏幕录制中平滑缩放至活动窗格或朗读中的文字,同时让摄像头画中画避开屏幕文字。
  • /punch-in:利用本地人脸跟踪,在口播跳切和关键台词之间切换宽景与近景。
  • /add-captions:根据保留的语音生成干净可读的字幕轨。
  • /motion-graphics:通过内置无头 Chrome 在本地将 HTML/CSS/JS 渲染为透明 ProRes 4444,生成下三分之一字幕、标题和标注。
  • /b-roll:先把 B-roll 和图形插入点规划为待办事项,再只获取或创建你要求的部分。
  • /speed-through-waits:加速安装、构建和加载画面,同时保持轨道同步、语音正常速度。
  • /music-under-speech:在语音下压低音乐音量,让每个字都清晰,在较长停顿或无人说话处恢复音量。
  • /fit-length:按目标时长裁剪,优先移除最不重要的段落。
  • /tighten-pauses-here:将停顿收紧聚焦在选中段落或播放头附近区域。

Learnings:当某个请求听起来像反复出现的偏好(例如“保留笑声,只剪掉笑声之后的空白”),Scarlet 会把它作为建议规则呈现。你可以批准以自动更新技能、就地修改措辞,或忽略它。

本地媒体感知与剪切安全

为了让代理基于真实测量而不是猜测来编辑,Scarlet 会在你的机器上本地分析素材:

  • 逐字转录与紧密词对齐:安装后默认使用 CrisperWhisper 2.0 large,开箱则使用内置的 Whisper large-v3-turbo,并通过本地 wav2vec2 CTC 强制对齐和声学语气词检测进行细化。同时支持本地自定义模型和 OpenAI Whisper(云端)。
  • 音频与拼接安全:16 kHz 波形和房间底噪分析、多输入语音感知、可选音频交叉淡化,以及防止剪切边缘落入词语中间的安全门。
  • 视觉理解:本地 OCR 读取屏幕录制中的文字,并与说话人朗读的内容对齐;本地人脸跟踪跟随面部和视线方向,用于推近和竖屏重构;屏幕运动和录制切点检测让屏幕插入更干净。

导出与 NLE 交接

  • 直接导出 MP4:可导出完整剪辑或自定义时间范围,提供压缩、高质量(硬件加速)和原始质量三种选项。
  • 字幕文件:可将字幕单独导出为 SubRip(.srt)或 WebVTT(.vtt),支持整片或自定义范围。
  • 在 NLE 中完成(高级导出):保存一个自包含的交接文件夹,包含 .fcpxml(DaVinci Resolve、Final Cut Pro)、.otio(Premiere Pro 26.5+、DaVinci Resolve)、所用素材副本、.srt 字幕,以及一份说明如何在各应用中打开、哪些内容不会迁移的纯英文 Read me。
  • 原生桌面应用与开放 MCP 引擎:基于 Tauri 2 构建(Rust 外壳 + 本地 SQLite/Node 引擎 + FFmpeg + 无头 Chrome),支持 macOS(Apple Silicon 与 Intel)、Windows x64 和 Ubuntu 24.04 x86-64。进阶用户也可以连接外部 MCP 客户端(pnpm mcp)或通过 Docker 运行无头引擎(docker compose up -d)。

如何使用

  1. 导入素材。点击 New project,命名并选择文件,可以混合视频(MP4、MOV)、独立音频(WAV、MP3)和图片(PNG、JPEG)。代理和转录准备期间就可以开始编辑。在设置中连接 Claude Code 或 Codex。
  2. 提出修改。点击时间线上的某个点(或清除时间标签以编辑整段视频),然后打字或按住 V 说话。例如试试“删除错误开头和重复镜头,保留每个回答前的停顿”,或输入 /dialogue-pass 完成第一版剪辑。
  3. 在上下文中审阅。从对话或时间线打开任意编辑,按 切换前后对比,展开剪切转录查看被删除的词语,用 ↑ / ↓ 在 For you 中逐条处理。
  4. 导出或交接。点击项目头部的 Export 保存 MP4 或字幕文件,或选择 Advanced export 生成面向 DaVinci Resolve、Final Cut Pro 或 Premiere Pro 的交接文件夹。

运行环境

Scarlet 正处于活跃的早期开发阶段。你可以在 macOS 13+(Apple Silicon 或 Intel)、Windows x64 或 Ubuntu 24.04 x86-64 上构建原生桌面应用。从源码运行需要 Git、Node.js 22.x 或 24.x、pnpm 12.16.1、Rust,以及 Tauri 先决条件中列出的平台构建工具。在 Ubuntu 上,还需要先安装桌面构建和播放依赖。项目还提供了一个无需额外设置的示例访谈,可直接打开原生编辑器,使用隔离的内存项目和模拟助手。

隐私与数据

  • 默认本地:项目、转录、波形和渲染结果都存储在你的电脑上。
  • 转录模型:CrisperWhisper 2.0 large 在单独许可的权重安装后是默认本地选择;在此之前,Scarlet 使用首次使用时下载的内置 Whisper large-v3-turbo。也可以在设置中配置自定义本地模型或 OpenAI Whisper。
  • AI 提供商数据:你连接的 AI 提供商将收到编辑请求以及代理检查的项目上下文(例如转录片段和视频帧)。
  • 可选遥测:打包版本会向 PostHog 发送匿名使用情况、编辑审阅决策和任务/导出结果。可以在设置中关闭 Send usage reports,或在启动前设置 SCARLET_TELEMETRY_ENABLED=false(0.1.3 及之前的 Early Access 版本使用环境变量)。

适用人群与注意事项

Scarlet 适合需要频繁处理对话类素材的创作者、播客制作者、采访者和屏幕演示录制者,也适合希望把 AI 代理接入剪辑流程、并保留 NLE 交接能力的高级用户。需要注意的是,项目仍处于早期开发阶段,功能与界面可能持续变化;使用云端 AI 提供商时,相关请求和项目上下文会发送给该提供商;遥测默认开启,可在设置或环境变量中关闭。项目采用 MIT 许可证,内置工作流部分改编自 Alex 的 DaVinci 编辑技能,声学语气词检测由 Desert Ant Labs 提供支持。

项目主页:https://github.com/Forward-Future/scarlet

项目地址:scarlet


AI软件用不了?2元爽玩4090: 立即体验>>

热门大语言模型API免费体验: 立即获取>>
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫