AI软件下载
有趣网站推荐及实用软件下载

白板上的 AI 老师怎么教?开源项目 whiteboard-ai-tutor 用 288 次生成对比六款大模型

如果让大模型当老师,它应该能一边讲解、一边在黑板上写画和擦除,学生还能随时打断提问。开源项目 whiteboard-ai-tutor 把这件事拆成了一个可复用的协议,并对 Claude、Gemini、DeepSeek 等六款模型做了同一道题的对比测试:共 288 次课程生成、64 块人工盲审白板。

项目目前是 GitHub 上的一个仓库,主要语言为 HTML,采用 MIT 许可证。它不是一个已托管的上课应用,而是包含参考实现和基准测试两部分:一方面展示“模型输出 JSON 绘制指令、浏览器播放成手写动画”的完整闭环;另一方面用冻结的提示词和统一评分规则,观察不同模型究竟谁能把图画对。

项目到底做了什么

核心思路很直接:模型不直接操作画布,而是以 JSON 流的形式输出教学步骤。每个步骤包含一句讲解和一组绘制操作,白板播放器把这些操作渲染成手写动画。等第一个操作到达,学生就能看到第一笔,不必等整节课生成完再开始。

协议中定义了六种操作:write、line、rect、ellipse、path、erase,作用于一块 1600 × 900 的白板。完整提示词存放在 protocol/PROTOCOL.md,原版为中文,并附有英文翻译。

学生打断时,应用会停止当前的流式输出,把学生的问题连同白板现状一起发回模型。现状包括每个对象的 id、类型、边界框和文本内容。模型只返回新的步骤,可以按 id 擦除或标注已有对象。

基准测试怎么做的

测试使用同一提示词、八个场景(科学、数学、经济学),覆盖六款模型和两档思考设置。低思考设置下,每个模型每个场景各生成一块白板,共 48 块;另外选取三个场景在中等思考设置下再生成 16 块。每个场景的三次重复中,取 linter 得分居中的那一次,而不是最好的一次。

评审采用盲审:白板先渲染成图片并分配随机 ID,评分写入磁盘后才打开 ID 映射,评审脚本不会打印模型名称。评分标准包括:没有科学或数学错误;图与文字一致;版式 0–2 分;课程完整。涉及打断的白板额外检查是否回答了问题、是否覆盖或擦除原有画面。只有无错误、图文一致且版式不低于 1 分,才算通过。

盲审由 Claude Fable 5.2 完成,它不在被测模型之列。评审会从像素位置检查几何关系,例如点是否落在交点、坐标轴倾向是否正确。另有 audit.html 列出 18 块低置信度或边界白板,供人工确认或推翻结论。

排行榜里的真实结果

根据项目给出的盲审通过数、首笔延迟和每课成本,可以整理出如下概览。延迟和成本均对应低思考设置。

  • Gemini 4 Argon:盲审通过 11/11,严格标准同样 11;首笔延迟中位数 8.0 秒;每课成本 0.0277 美元;主要弱点是起步最慢,且价格将在 2026-12-01 翻倍。
  • Claude Haiku 5.5:通过 9/11,严格标准 9;首笔延迟 12.9 秒;每课成本 0.0019 美元;即使低思考设置也会进行思考,因此起步偏晚。
  • Gemini 3.8 Flash:通过 8/11,严格标准 8;首笔延迟 3.4 秒;每课成本 0.0080 美元;主要问题是对曲线的点标记偏离、位置标注错误。
  • Claude Sonnet 5.5:通过 7/11,严格标准 5;首笔延迟 2.8 秒,是六款中最快;每课成本 0.0158 美元;版式最干净,但图形常与文字矛盾。
  • DeepSeek V4 Pro:通过 5/10,严格标准 4;首笔延迟 3.8 秒;每课成本 0.0064 美元;存在文字叠印、示意图被覆盖等问题(关闭思考时)。
  • DeepSeek V4.1 Flash:通过 4/10,严格标准 4;首笔延迟 2.5 秒;每课成本 0.0017 美元;关闭思考时,24 次调用中有 7 次画出空白白板。

项目也明确指出样本量有限:每个模型 11 块白板,9/11、8/11、7/11 之间并不能严格区分。榜首和榜尾的差距较清楚,中间名次则不稳定。

几个值得注意的发现

项目总结了几条很具体的观察。第一,文字表述几乎不出错,失败大多出在图上。20 块未通过的白板中,有 12 块是因为图形与文字矛盾,例如季节标签贴错地球、均衡点画在交点旁边而不是交点上。

第二,没有单一赢家。Gemini 4 Argon 画得最准确,Claude Sonnet 5.5 起笔最快且版式最干净,Claude Haiku 5.5 成本低至前两者的 8–15 倍,仍通过了 9/11。

第三,便宜且关闭思考的模型可能根本不遵循协议。DeepSeek V4.1 Flash 在 24 次调用中有 7 次返回的指令缺少 op 字段,虽然能按 JSON 解析,却什么也画不出来。

第四,项目自带的 linter 并不是可靠裁判。它把 64 块白板中的 41 块标记为“硬错误”,但盲审通过了其中 26 块。它容易误伤信息密集的图(标签靠近线条),却看不出最主要的失败:图与自身说明不一致。

第五,开启更多思考主要换来等待。在 Gemini 3.8 Flash 和两款 DeepSeek 模型上,开启思考后首笔需要 30–120 秒,且有 23 次调用在完成白板前触发了 8000 token 的输出上限。

第六,打断能被处理,但处理得比较粗糙。24 块打断白板都回答了学生,其中 11 块在原有画面上覆盖重写,或者直接擦掉重来。

怎么使用这个项目

如果只想看结果,可以直接打开在线画廊,在浏览器里回放每一节课。项目说明称画廊无需密钥、无需安装依赖,点击任意白板就能观看它被一笔笔写出来。此外,player/ 也能播放八个场景并显示 linter 输出。

如果想自己运行模型生成新课,需要使用基准测试运行器,并准备自己的 API key。运行器会把每个 OpenRouter 模型固定到其第一方提供商并禁用回退,在单模型和总预算上限处停止,并把每次调用追加到 results/runs/*.jsonl,以便中断后继续。项目还提供了 bench/mock_server.py,可以在本地模拟三种 API,免费测试运行器。

项目主体是参考实现、播放器和基准测试工具,不是开箱即用的在线教学产品。它更适合希望研究 LLM 教学能力、白板交互协议或多模型对比的开发者、研究者和教育技术团队。

限制与注意事项

项目对自身局限写得很清楚:盲审样本较小,每个模型 11 块;评审只看最终白板,以及六块白板在最大一次擦除前的状态,未评审中间状态和动画节奏;协议只冻结了一种中文措辞,换一种写法可能改变排名;场景只有八个,且为初中科学、数学和经济学,不能代表真实学生的大规模提问。

延迟是在一台桌面设备上测量的,Claude 和 Gemini 经过 OpenRouter,多了一跳,因此适合模型之间横向比较,不宜当作生产环境数据。中等思考设置的结果受 8000 token 上限影响,23 次调用被截断,解析率反映的是截断情况,而非模型能力。

回放的手写效果依赖系统字体。播放器使用 Ink Free,该字体随 Windows 提供;其他系统会回退到通用手写字体,因此回放效果可能与在 Windows 上渲染的评审图片不同。价格是 2026-11-11 的标价,之后可能变化。

项目主页

GitHub 仓库:https://github.com/molly554/whiteboard-ai-tutor

项目地址:whiteboard-ai-tutor


AI软件用不了?2元爽玩4090: 立即体验>>

热门大语言模型API免费体验: 立即获取>>
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫