Firecrawl：为 AI Agent 提供网页搜索与抓取能力的开源 TypeScript 项目

Firecrawl 是一个用 TypeScript 开发的开源项目，定位是为 AI Agent 提供网页搜索、抓取与交互的 API。它把网页内容转换成 Markdown、结构化 JSON、截图等适合大模型使用的格式，并封装代理轮换、页面渲染、限流等环节。项目同时提供开源自托管版本和 firecrawl.dev 托管服务，目前在 GitHub 上获得约 201868 Star、10586 Fork。

项目解决什么问题

AI Agent 往往需要从网页获取实时信息，但直接抓取会碰到 JavaScript 渲染、反爬限制、代理管理、输出格式不统一等问题。Firecrawl 将这些环节收敛为统一接口：开发者调用 Search、Scrape 等端点，即可得到适合输入大模型的干净内容，减少自建抓取基础设施的负担。

核心功能

Search 与 Scrape

Search 用于搜索网页并返回结果页面的完整内容；Scrape 可将任意 URL 转换为 Markdown、HTML、截图或结构化 JSON。README 给出的示例覆盖 Node.js、cURL 和 CLI 三种调用方式。

Interact

Interact 先抓取页面，再通过 AI 提示词或代码与页面交互，适合需要点击、滚动、输入等操作后再提取内容的场景。

Crawl、Map 与 Batch Scrape

Crawl 用一次请求抓取整站所有 URL 的内容；Map 用于快速发现站点上的全部 URL，也支持在站点内按搜索词查找特定链接；Batch Scrape 面向大批量 URL 的异步抓取。Crawl 会返回 job ID，SDK 会自动处理轮询。

Agent

Agent 端点允许用户直接描述所需数据，由 AI 自行搜索、浏览并取回结果，无需预先知道具体 URL。它支持通过 schema 获取结构化输出，也可选填 URL 限定范围。README 提到可按 low、medium、high 三档设置推理投入，并说明所有档位均运行 spark-2 模型，档位改变的是推理预算而非模型本身。

Parse、Monitor 与 Alexandria

Parse 可将 PDF、DOCX 等文档转为 Markdown 或结构化 JSON；Monitor 用于在网站内容变化时发出通知。Alexandria 通过一个 API、MCP 或 CLI 为 Agent 提供 400 多个数据提供方和专门索引，但 README 明确说明它运行在 Firecrawl Cloud 上，自托管服务器不包含该功能。

使用方式与运行环境

使用托管服务需要在 firecrawl.dev 注册获取 API Key，并可在 Playground 中测试。官方提供 Python、Node.js、Go、Java、Elixir、Rust、Ruby、.NET、PHP 等语言的 SDK，SDK 会自动处理异步操作的轮询。

在 Agent 集成方面，Firecrawl 提供 Skill 与 MCP 两种接入方式。Skill 只需一条命令安装，重启 Agent 后即可使用，README 提到可用于 Claude Code、Antigravity、OpenCode 等；MCP 则面向兼容 MCP 的客户端。项目还提供 Firecrawl CLI 与 Firecrawl MCP 等集成入口，并列出了 Lovable、Zapier、n8n 等平台集成。

本地运行可参考项目的 Contributing Guide，自托管可参考 Self-Hosting Guide。项目主要语言为 TypeScript，创建于 2024 年 4 月。

技术特点

• 输出面向 LLM：以 Markdown、结构化 JSON、截图为主，减少 token 消耗。
• 封装抓取复杂度：README 称其处理轮换代理、编排、限流和 JS 阻塞内容，无需额外配置。
• 支持 Actions：可在提取内容前执行点击、滚动、输入、等待、按键等操作。
• 异步任务设计：Crawl、Batch Scrape 等通过 job ID 与 SDK 轮询配合使用。
• 多语言 SDK 与 Agent 集成：覆盖主流语言，并提供 Skill、MCP、CLI 接入路径。

适用人群与场景

Firecrawl 适合正在构建 AI Agent、需要为模型补充实时网页上下文的开发者；也适合要把网页或文档批量转换为 Markdown/JSON 的数据工程团队，以及需要监控网页变化、发现站点 URL 结构的使用者。对于希望减少自建抓取与代理维护成本的项目，它提供了一套较为完整的端点组合。

注意事项

Firecrawl 主要以 AGPL-3.0 许可证开源，SDK 和部分 UI 组件使用 MIT 许可证，具体以各目录下的 LICENSE 文件为准。README 同时提醒，抓取网站时遵守目标站点政策是终端用户的责任，Firecrawl 默认遵循 robots.txt。此外，Alexandria 依赖 Firecrawl Cloud，自托管版本不包含；Agent 的模型与档位说明以 README 当前描述为准，后续可能调整。GitHub Star 与 Fork 数反映社区关注度，不等同于官方认证或性能排名。

项目主页与资料来源

• 项目主页：https://github.com/firecrawl/firecrawl
• 托管服务：https://firecrawl.dev
• Alexandria 文档入口：https://alexandria.firecrawl.dev
• 资料来源：Firecrawl GitHub README 及项目元数据

项目地址：firecrawl