AI软件下载
有趣网站推荐及实用软件下载

gpucanvas:把上千个实时 DOM 节点放进无限画布

gpucanvas 是一个用 TypeScript 编写的开源项目,目标是把大量真实存活的 DOM 节点放到一张无限画布上:由 GPU 负责绘制,编辑器负责选中、移动和缩放,着色器与过渡效果直接在组件上运行,AI 代理还能读取画布内容并在上面标注。

它解决的核心问题,是让画布里的元素继续保留 React 状态、事件、CSS 和可访问性,同时支持大规模组织与浏览;它并不只是“画一张静态截图”。项目当前在 GitHub 上获得 516 个 Star、36 个 Fork,采用 MIT 许可证,状态标注为早期版本 0.4,API 仍可能变化。

核心功能

  • Canvas 画布:React 或普通 DOM 节点由 WebGPU 在一次实例化绘制中画出。平移和缩放不会触碰 DOM,点击、输入和状态更新仍然到达真实元素。
  • Editor 编辑器:单击选中,双击逐层深入,直到任意元素或 React 组件;拖动移动、拖拽手柄缩放,并带有吸附辅助线。
  • Shader 效果:在实时组件上运行 WGSL,内置玻璃透镜、霜冻、冲击波、故障、VHS 等效果,也可以自己编写。
  • 快照:把任意节点导出为图片,做版本间的像素差异对比,并生成历史胶片条。
  • Agent 视图:把画布内容输出为带 id 的简短 JSON 树,或把任意区域变成图片,供 AI 代理读取和指向。
  • 过渡:用溶解、擦除或淡入淡出在 GPU 上完成节点切换,两个节点都保持实时。
  • 标记:元素之间的箭头、评论图钉、便签和跟随相机的实时光标。

使用方式与运行环境

项目提供了一个在线演示,地址是 berkantay.github.io/gpucanvas。演示推荐在 Chrome 157 或更高版本中打开:三十个代理光标先搭出第一屏,然后相机拉远到全部 5,000 个屏幕。

在演示中可以单击屏幕选中、双击深入、拖动移动;双击文本字段直接输入,或者把工具栏切到 Interact 模式,像普通网页一样使用这些屏幕。工具栏集中了渲染器、屏幕数量、编辑/交互模式、点击选中对象、着色器效果、代理光标和主题等设置,修改会实时生效,并记录在 URL 中。

快捷键包括:选中屏幕后按 D 溶解、W 擦除、S 保存为 PNG;按 b 运行基准测试巡游,f 让全部屏幕进入视野,t 切换主题。在控制台中,agentView.describe() 列出视野中的内容,marks 用于绘制标记。手机上支持双指缩放、拖动平移和点按使用屏幕。

GPU 路径依赖 WebGPU 和 HTML-in-Canvas。Chrome 157 及以上的桌面版本默认开启这两项;较旧的 Chrome 或其他 Chromium 构建需要通过 chrome://flags/#canvas-draw-element 开启后重启。没有 HTML-in-Canvas 时,演示会回退到 DOM 后端,屏幕数量降为 1,000 并给出提示。手机端为了控制内存,GPU 路径默认 1,000 个屏幕,DOM 路径 250 个。Firefox、Safari 以及所有 iPhone/iPad 浏览器目前没有 HTML-in-Canvas,因此运行 DOM 版本。

技术特点

项目的关键设计是“节点始终是真实 DOM”。在支持 WebGPU 和 HTML-in-Canvas 的环境里,节点被快照进 GPU 纹理图集,并以一次实例化绘制调用画出;其他环境则回退到带 CSS transform 的容器,API 保持一致。

根据 README 的说明,其工作流程大致包括:把节点按 2048 CSS 像素打包成页,由 Chrome 将一页记录为一次快照,从而一次栅格化多个节点;栅格化后把页面“停放”起来,用 content-visibility: hidden 保留布局但跳过绘制;每个节点先有一张 1/16 缩略图放在不会被驱逐的图集层里,保证缩远时画面始终有内容;放大超过 100% 时只栅格化可见部分;每帧根据视野剔除节点,并用一次实例化四边形绘制所有可见节点。平移缩放不触碰 DOM,栅格化有每帧预算,因此相机移动保持流畅。

输入方面,只有指针下方的页面会注册命中测试,画布的 transform 会把节点放在 GPU 实际绘制的位置,点击、输入、选择和悬停都交给真实元素。触摸没有悬停,点按会让手指下的节点变为实时,并把点击交给落点元素。

适用人群与场景

从功能看,gpucanvas 适合需要在大画布上组织大量真实界面、又不想失去 DOM 交互能力的设计工具、原型工具和 AI 代理交互界面。它也适合需要在实时组件上叠加着色器效果、做版本快照对比或给元素加标注的开发场景。

需要注意,项目仍处于早期阶段,API 可能变化;GPU 路径依赖较新的 Chrome 和 HTML-in-Canvas 支持,其他浏览器只能使用功能受限的 DOM 回退路径。快照和 capture 需要 GPU 后端,DOM 后端会拒绝。README 中的性能数据来自特定设备与环境,不应直接当作通用性能承诺。

项目主页

https://github.com/berkantay/gpucanvas

项目地址:gpucanvas


AI软件用不了?2元爽玩4090: 立即体验>>

热门大语言模型API免费体验: 立即获取>>
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫