AI软件下载
有趣网站推荐及实用软件下载

WebsiteBench:评测 AI 智能体能否通过浏览器探索重建完整网站

WebsiteBench 是一个面向 AI 智能体的评测基准,核心问题很直接:给定一个可以通过浏览器探索的生产级网站,智能体能否反向工程出一个外观和行为尽量一致的全栈版本? 项目由 TIGER-AI-Lab 发布在 GitHub,主要语言为 Python,许可证为 Apache-2.0。根据平台元数据,该项目目前有 479 个 GitHub Star 和 43 个 Fork。

与只考察单段代码生成的评测不同,WebsiteBench 把任务放在完整网站层面。智能体需要先浏览目标网站,再进行全栈复刻,最后由隐藏测试用例从功能和视觉两个维度评分。项目标签覆盖 agent-evaluation、browser-automation、full-stack、reverse-engineering 和 visual-evaluation 等方向,定位是智能体评测基准,而不是网站生成工具。

任务规模与评分方式

WebsiteBench 包含 70 个网站任务和 46,916 个隐藏测试用例。任务集同时发布在 Harbor Hub 和 Hugging Face 上,README 中提供了对应链接。每个任务有 302 到 2,016 个隐藏测试用例,数量并不固定。

评分规则比较明确:一个测试用例通过,需要同时满足两个条件,即其功能检查通过,并且每个视觉检查点的归一化 SSIM 达到 0.99。一个任务的奖励值等于其通过用例所占的比例。因此,这个基准不仅看页面能否打开,还要求复刻结果在功能和视觉上都接近参考网站。

运行方式

根据 README,运行 WebsiteBench 需要先安装 Docker 和 Harbor。任务数据可以通过 PyPI 包下载。运行某个智能体时,可以通过数据集参数指定全部 70 个任务;如果只运行单个任务,则把数据集参数替换为对应任务标识,例如 README 中给出的 websitebench/medium@v1。项目文档还说明了如何用参考解决方案检查任务、如何运行其他智能体、如何下载数据以及如何在云机器上运行。

每次试验的奖励结果会写入 jobs/<...>/verifier/reward.txt 路径,便于后续收集和分析。

适用人群与注意事项

WebsiteBench 适合研究或评测具备浏览器操作能力的 AI 智能体,也适合关注全栈网站生成、浏览器自动化、反向工程和视觉一致性评估的开发者与研究人员。由于任务建立在生产级网站之上,评测结果可以反映智能体在复杂网站环境中的观察、推理和实现能力。

使用时需要注意两点。第一,Apache-2.0 覆盖的是基准代码、任务定义和验证器;参考网站复刻了第三方站点,其内容归原所有者,仅供非商业研究使用。第二,任务定义带有 harbor-canary GUID,README 明确请求将包含该标识的文档排除在训练数据之外。此外,本项目资料中 Hugging Face Likes 和 Downloads 不适用,不应与 GitHub Star 数混为一谈。

项目主页

GitHub 仓库:https://github.com/TIGER-AI-Lab/WebsiteBench

项目地址:WebsiteBench


AI软件用不了?2元爽玩4090: 立即体验>>

热门大语言模型API免费体验: 立即获取>>
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫