gpucanvas 是一个用 TypeScript 编写的开源项目,目标是把大量真实存活的 DOM 节点放到一张无限画布上:由 GPU 负责绘制,编辑器负责选中、移动和缩放,着色器与过渡效果直接在组件上运行,AI 代理还能读取画布内容并在上面标注。
它解决的核心问题,是让画布里的元素继续保留 React 状态、事件、CSS 和可访问性,同时支持大规模组织与浏览;它并不只是“画一张静态截图”。项目当前在 GitHub 上获得 516 个 Star、36 个 Fork,采用 MIT 许可证,状态标注为早期版本 0.4,API 仍可能变化。
核心功能
- Canvas 画布:React 或普通 DOM 节点由 WebGPU 在一次实例化绘制中画出。平移和缩放不会触碰 DOM,点击、输入和状态更新仍然到达真实元素。
- Editor 编辑器:单击选中,双击逐层深入,直到任意元素或 React 组件;拖动移动、拖拽手柄缩放,并带有吸附辅助线。
- Shader 效果:在实时组件上运行 WGSL,内置玻璃透镜、霜冻、冲击波、故障、VHS 等效果,也可以自己编写。
- 快照:把任意节点导出为图片,做版本间的像素差异对比,并生成历史胶片条。
- Agent 视图:把画布内容输出为带 id 的简短 JSON 树,或把任意区域变成图片,供 AI 代理读取和指向。
- 过渡:用溶解、擦除或淡入淡出在 GPU 上完成节点切换,两个节点都保持实时。
- 标记:元素之间的箭头、评论图钉、便签和跟随相机的实时光标。
使用方式与运行环境
项目提供了一个在线演示,地址是 berkantay.github.io/gpucanvas。演示推荐在 Chrome 157 或更高版本中打开:三十个代理光标先搭出第一屏,然后相机拉远到全部 5,000 个屏幕。
在演示中可以单击屏幕选中、双击深入、拖动移动;双击文本字段直接输入,或者把工具栏切到 Interact 模式,像普通网页一样使用这些屏幕。工具栏集中了渲染器、屏幕数量、编辑/交互模式、点击选中对象、着色器效果、代理光标和主题等设置,修改会实时生效,并记录在 URL 中。
快捷键包括:选中屏幕后按 D 溶解、W 擦除、S 保存为 PNG;按 b 运行基准测试巡游,f 让全部屏幕进入视野,t 切换主题。在控制台中,agentView.describe() 列出视野中的内容,marks 用于绘制标记。手机上支持双指缩放、拖动平移和点按使用屏幕。
GPU 路径依赖 WebGPU 和 HTML-in-Canvas。Chrome 157 及以上的桌面版本默认开启这两项;较旧的 Chrome 或其他 Chromium 构建需要通过 chrome://flags/#canvas-draw-element 开启后重启。没有 HTML-in-Canvas 时,演示会回退到 DOM 后端,屏幕数量降为 1,000 并给出提示。手机端为了控制内存,GPU 路径默认 1,000 个屏幕,DOM 路径 250 个。Firefox、Safari 以及所有 iPhone/iPad 浏览器目前没有 HTML-in-Canvas,因此运行 DOM 版本。
技术特点
项目的关键设计是“节点始终是真实 DOM”。在支持 WebGPU 和 HTML-in-Canvas 的环境里,节点被快照进 GPU 纹理图集,并以一次实例化绘制调用画出;其他环境则回退到带 CSS transform 的容器,API 保持一致。
根据 README 的说明,其工作流程大致包括:把节点按 2048 CSS 像素打包成页,由 Chrome 将一页记录为一次快照,从而一次栅格化多个节点;栅格化后把页面“停放”起来,用 content-visibility: hidden 保留布局但跳过绘制;每个节点先有一张 1/16 缩略图放在不会被驱逐的图集层里,保证缩远时画面始终有内容;放大超过 100% 时只栅格化可见部分;每帧根据视野剔除节点,并用一次实例化四边形绘制所有可见节点。平移缩放不触碰 DOM,栅格化有每帧预算,因此相机移动保持流畅。
输入方面,只有指针下方的页面会注册命中测试,画布的 transform 会把节点放在 GPU 实际绘制的位置,点击、输入、选择和悬停都交给真实元素。触摸没有悬停,点按会让手指下的节点变为实时,并把点击交给落点元素。
适用人群与场景
从功能看,gpucanvas 适合需要在大画布上组织大量真实界面、又不想失去 DOM 交互能力的设计工具、原型工具和 AI 代理交互界面。它也适合需要在实时组件上叠加着色器效果、做版本快照对比或给元素加标注的开发场景。
需要注意,项目仍处于早期阶段,API 可能变化;GPU 路径依赖较新的 Chrome 和 HTML-in-Canvas 支持,其他浏览器只能使用功能受限的 DOM 回退路径。快照和 capture 需要 GPU 后端,DOM 后端会拒绝。README 中的性能数据来自特定设备与环境,不应直接当作通用性能承诺。
项目主页
https://github.com/berkantay/gpucanvas
项目地址:gpucanvas
相关推荐
Blender AI Copilot Studio:用自然语言在 Blender 里指挥 AI 搭场景
32 个免费营销技能包:让 AI Agent 帮你做调研、SEO 和本地广告
DSH Game Studio:一句话生成小游戏,在 DeepSeek Harness 侧边栏里直接玩
ComfyUI:用节点图掌控扩散模型的本地 AI 创作引擎
OpenAmika:可本地运行的 Live2D AI 伴侣,支持实时语音与长期记忆
用 Agent 系统优化本地 LLM 推理速度:inference-optimisation-skill 项目介绍
Lastbook:把生存手册、离线地图和本地 AI 装进一台电脑的开源离线知识库
WebsiteBench:评测 AI 智能体能否通过浏览器探索重建完整网站
最近更新
gpucanvas:把上千个实时 DOM 节点放进无限画布
gpucanvas 是一个 TypeScript 开源项目,用 WebGPU 把上千个实时 React/DOM 节点画在无限画布上,支持编辑器选中缩放、WGSL 着色器、快照、过渡和 AI 代理视图。
Blender AI Copilot Studio:用自然语言在 Blender 里指挥 AI 搭场景
blender-ai-copilot-studio 是一个运行在 Blender 内的 AI copilot 扩展和 MCP 服务器,能把自然语言需求拆成受监督的场景操作,内置 27 个场景工具、多智能体团队链和多模型接入,并提供可视化 Studio 窗口。
32 个免费营销技能包:让 AI Agent 帮你做调研、SEO 和本地广告
Boring Marketing Skills 是一个面向 Claude Code、Codex、Cursor 等 AI Agent 的营销技能集合,共 32 个技能,覆盖品牌调研、定位、文案、本地 SEO、AI 搜索、广告投放和邮件内容,MIT 许可,无需付费工具即可使用。
DSH Game Studio:一句话生成小游戏,在 DeepSeek Harness 侧边栏里直接玩
DSH Game Studio 是一个 DeepSeek Harness 插件:用一句话描述小游戏,就能从 2D 或 3D 体素模板生成可玩游戏,在对话侧边栏实时试玩,还能换 AI 美术、自动测试、导出单文件 HTML,或一键发布到 GitHub Pages。
ComfyUI:用节点图掌控扩散模型的本地 AI 创作引擎
ComfyUI 是一个基于节点图的开源 AI 创作引擎,提供图形界面、API 和后端,支持图像、视频、音频、3D 与文本工作流,可在 Windows、Linux、macOS 本地运行,并针对消费级硬件做推理优化。
OpenAmika:可本地运行的 Live2D AI 伴侣,支持实时语音与长期记忆
OpenAmika 是 MekaHime AI 伴侣 Amika 的开源版本,集成本地 Live2D 形象、实时语音、长期记忆,并支持 OpenRouter 或 Ollama 两种语言模型后端,面向 Windows 与 NVIDIA 显卡用户。
用 Agent 系统优化本地 LLM 推理速度:inference-optimisation-skill 项目介绍
inference-optimisation-skill 是一个面向 AI Agent 的本地 LLM 推理优化技能,用“先算理论上限、单变量改动、交错对照测量、长上下文验收”的工作流,系统提升解码、预填充、KV 缓存、启动时间和首 token 延迟表现,支持 Claude Code 等可加载 SKILL.md 的 Agent。
Lastbook:把生存手册、离线地图和本地 AI 装进一台电脑的开源离线知识库
Lastbook 是一个面向 macOS、Windows 和 Linux 的离线生存知识库,整合手册、视频、百科、离线地图和可选本地 AI,首次下载后即可在断网环境使用。本文介绍其功能、运行环境、安装方式、隐私设计和适用场景。
WebsiteBench:评测 AI 智能体能否通过浏览器探索重建完整网站
WebsiteBench 是一个面向 AI 智能体的网站重建评测基准,包含 70 个网站任务和 46,916 个隐藏测试用例,要求智能体通过浏览器探索反向工程出功能和视觉都接近原站的全栈版本。
Auto Ontology MCP:把语义层接入 Claude、ChatGPT,让数据库问答不再“静默出错”
Auto Ontology MCP 是一个基于 Python 的 MCP 服务器,把 NVIDIA Auto Ontology 的语义层接入 Claude、ChatGPT、Cursor 等客户端。它不需要 LLM API key,由客户端模型完成语言步骤,服务器负责 schema 扫描、键推断、SQL 校验和本地知识库存储,帮助减少 Text-to-SQL 的静默错误。



