AI软件下载
有趣网站推荐及实用软件下载

smolmaxxing:在电视盒子、旧iPad和手机上跑起16B到80B大模型

smolmaxxing 是一个基于 llama.cpp 的修改项目,目标很直接:让尽可能大的语言模型跑在尽可能小的设备上。项目目前给出了三台真实设备的实测结果——小米电视盒子、2013 年的 iPad Air 和 OnePlus 手机,其中约 1GB 可用内存的电视盒子和 iPad 能跑 8B、16B 的混合专家模型,约 3GB 可用内存的手机则能跑 35B 和 80B 模型。GitHub 上该仓库目前有 750 个 Star、23 个 Fork。

项目定位与解决思路

很多电视盒子、旧手机、平板、单板计算机和路由器大部分时间处于闲置状态,它们有 CPU、内存和闪存,却很难直接运行现代大模型。smolmaxxing 做的事情是:找出每台设备真正能跑的最大模型,然后通过定制内核、精细的内存管理以及从闪存流式读取权重,把边界再往前推一点。README 强调,仓库中的每个数字都是在对应设备上实测得到的。

三台实测设备与结果

项目目前覆盖三台设备,硬件与运行环境差异很大:

  • Xiaomi TV Box S(第三代):Amlogic S7D,4× Cortex-A55,1.9GB 内存(约 1GB 可用),Android 14,无 root。日常运行 Qwen3.5-2B 达到 7.7 tok/s;最大可运行 Ling-mini-2.0(16B),约 5.1 tok/s。
  • iPad Air(2013):Apple A7 双核,1GB 内存(约 700MB 可用),iOS 12.5.7,已越狱。日常运行 Bonsai-1.7B(1-bit)达到 24–26 tok/s;最大可运行 Ling-mini-2.0(16B),约 2.6–4.5 tok/s。
  • OnePlus Nord CE 2(2022):MediaTek Dimensity 900,2× Cortex-A78 + 6× A55,7.4GB 内存(约 3GB 空闲),Android 13,无 root。日常运行 Qwen3.6-35B-A3B 达到 4.9–5.7 tok/s;最大可运行 Qwen3-Next-80B-A3B,约 2.6–3.1 tok/s。

电视盒子和 iPad 在约 1GB 内存上运行 8B、16B 混合专家模型,手机则在约 3GB 空闲内存上运行 35B、80B 模型。共同点是:只把模型的一部分保留在内存中,其余部分按需从闪存读取。

关键技术特点

所有改动都是对 llama.cpp 的补丁,主要思路包括:

  • 面向芯片的内核:包括 1-bit 查找表内核、为 Cortex-A55 重新打包的 2-bit 和三值格式,以及为没有点积指令的 A7 准备的对应版本。
  • 降低单模型内存占用:小模型词表中的大部分输出行很少被使用,项目会裁剪这些行;在电视盒子上还提供“headless”模式,在模型运行时停止启动器和 Google 服务。
  • 专家按页从闪存读取:混合专家模型每个 token 只使用少量专家,项目把常用专家留在内存中,其他专家按需从闪存读取,并预取下一层。这是 8B、16B 模型能跑在 1GB 内存、35B 和 80B 模型能跑在手机上的原因。
  • 大于内存的稠密模型流式加载:以闪存可达到的速度流式读取权重。

README 提到 docs/how-it-works.md 记录了每项技术及其实测收益。

如何使用

项目建议从 Hugging Face 上的现成模型文件开始。需要注意:电视盒子和 iPad 的模型文件需要配合打过补丁的 llama.cpp,原版 llama.cpp 无法加载它们裁剪过的输出头;手机模型文件可以在任意环境加载,但要获得项目中的速度,需要补丁中的专家分页器。

  • 电视盒子或其他 ARMv8.2 Android 设备:参考 docs/tv-box-setup.md。
  • iOS 12 上的越狱 iPad:参考 ipad-air/README.md。
  • 8GB 内存的 Android 手机:Qwen3.6-35B-A3B(12.3GB)和 Qwen3-Next-80B-A3B(27.6GB,两个文件),配置方式见 docs/phone.md。
  • 所有模型文件及重建方法:docs/models.md。

仓库结构与文档

仓库中包含多个实用目录:patches/ 存放电视盒子和手机对 llama.cpp 的全部改动(iPad 补丁在 ipad-air/patches/);tools/ 提供模型重建、GGUF 重写、基准测试和内核检查工具;tv-llm-ui/ 是实时 token 流聊天页面及其启动器;ipad-air/ 包含 iOS 12 构建、smolchat、部署和基准脚本;bench/ 保存所有聊天基准结果(results.jsonl)和原始日志;data/ 包含词表与评估文本;tiny-llm-web/ 是早期实验,一个 26 万参数的故事模型;zigcc/ 提供用于交叉编译静态 aarch64 二进制的 zig 包装器。

文档方面,docs/tv-box.md、ipad-air/README.md 和 docs/phone.md 分别记录三台设备的结果;docs/lessons.md 总结经验和失败尝试;EXPERIMENT.md 是包含 165 次实验(包括失败)的完整实验记录。

适用人群与注意事项

这个项目适合手头有闲置小设备、愿意折腾本地推理的开发者,尤其是关注边缘 AI、端侧 LLM、量化和 llama.cpp 生态的人。它不是开箱即用的通用推理框架,很多步骤需要按照设备文档操作,部分设备还需要越狱或特定的 Android 环境。

需要注意的是,README 中的速度数据均来自具体设备上的实测,不能直接外推到其他硬件;模型权重仍遵循各自的许可证,评估文本来自 Wikipedia 摘录(CC BY-SA 4.0)。项目采用 MIT 许可证,对 llama.cpp 的补丁属于 llama.cpp(MIT)的衍生作品。

项目主页

GitHub:https://github.com/hyperionaidev/smolmaxxing

项目地址:smolmaxxing


AI软件用不了?2元爽玩4090: 立即体验>>

热门大语言模型API免费体验: 立即获取>>
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫