smolmaxxing 是一个基于 llama.cpp 的修改项目,目标很直接:让尽可能大的语言模型跑在尽可能小的设备上。项目目前给出了三台真实设备的实测结果——小米电视盒子、2013 年的 iPad Air 和 OnePlus 手机,其中约 1GB 可用内存的电视盒子和 iPad 能跑 8B、16B 的混合专家模型,约 3GB 可用内存的手机则能跑 35B 和 80B 模型。GitHub 上该仓库目前有 750 个 Star、23 个 Fork。
项目定位与解决思路
很多电视盒子、旧手机、平板、单板计算机和路由器大部分时间处于闲置状态,它们有 CPU、内存和闪存,却很难直接运行现代大模型。smolmaxxing 做的事情是:找出每台设备真正能跑的最大模型,然后通过定制内核、精细的内存管理以及从闪存流式读取权重,把边界再往前推一点。README 强调,仓库中的每个数字都是在对应设备上实测得到的。
三台实测设备与结果
项目目前覆盖三台设备,硬件与运行环境差异很大:
- Xiaomi TV Box S(第三代):Amlogic S7D,4× Cortex-A55,1.9GB 内存(约 1GB 可用),Android 14,无 root。日常运行 Qwen3.5-2B 达到 7.7 tok/s;最大可运行 Ling-mini-2.0(16B),约 5.1 tok/s。
- iPad Air(2013):Apple A7 双核,1GB 内存(约 700MB 可用),iOS 12.5.7,已越狱。日常运行 Bonsai-1.7B(1-bit)达到 24–26 tok/s;最大可运行 Ling-mini-2.0(16B),约 2.6–4.5 tok/s。
- OnePlus Nord CE 2(2022):MediaTek Dimensity 900,2× Cortex-A78 + 6× A55,7.4GB 内存(约 3GB 空闲),Android 13,无 root。日常运行 Qwen3.6-35B-A3B 达到 4.9–5.7 tok/s;最大可运行 Qwen3-Next-80B-A3B,约 2.6–3.1 tok/s。
电视盒子和 iPad 在约 1GB 内存上运行 8B、16B 混合专家模型,手机则在约 3GB 空闲内存上运行 35B、80B 模型。共同点是:只把模型的一部分保留在内存中,其余部分按需从闪存读取。
关键技术特点
所有改动都是对 llama.cpp 的补丁,主要思路包括:
- 面向芯片的内核:包括 1-bit 查找表内核、为 Cortex-A55 重新打包的 2-bit 和三值格式,以及为没有点积指令的 A7 准备的对应版本。
- 降低单模型内存占用:小模型词表中的大部分输出行很少被使用,项目会裁剪这些行;在电视盒子上还提供“headless”模式,在模型运行时停止启动器和 Google 服务。
- 专家按页从闪存读取:混合专家模型每个 token 只使用少量专家,项目把常用专家留在内存中,其他专家按需从闪存读取,并预取下一层。这是 8B、16B 模型能跑在 1GB 内存、35B 和 80B 模型能跑在手机上的原因。
- 大于内存的稠密模型流式加载:以闪存可达到的速度流式读取权重。
README 提到 docs/how-it-works.md 记录了每项技术及其实测收益。
如何使用
项目建议从 Hugging Face 上的现成模型文件开始。需要注意:电视盒子和 iPad 的模型文件需要配合打过补丁的 llama.cpp,原版 llama.cpp 无法加载它们裁剪过的输出头;手机模型文件可以在任意环境加载,但要获得项目中的速度,需要补丁中的专家分页器。
- 电视盒子或其他 ARMv8.2 Android 设备:参考
docs/tv-box-setup.md。 - iOS 12 上的越狱 iPad:参考
ipad-air/README.md。 - 8GB 内存的 Android 手机:Qwen3.6-35B-A3B(12.3GB)和 Qwen3-Next-80B-A3B(27.6GB,两个文件),配置方式见
docs/phone.md。 - 所有模型文件及重建方法:
docs/models.md。
仓库结构与文档
仓库中包含多个实用目录:patches/ 存放电视盒子和手机对 llama.cpp 的全部改动(iPad 补丁在 ipad-air/patches/);tools/ 提供模型重建、GGUF 重写、基准测试和内核检查工具;tv-llm-ui/ 是实时 token 流聊天页面及其启动器;ipad-air/ 包含 iOS 12 构建、smolchat、部署和基准脚本;bench/ 保存所有聊天基准结果(results.jsonl)和原始日志;data/ 包含词表与评估文本;tiny-llm-web/ 是早期实验,一个 26 万参数的故事模型;zigcc/ 提供用于交叉编译静态 aarch64 二进制的 zig 包装器。
文档方面,docs/tv-box.md、ipad-air/README.md 和 docs/phone.md 分别记录三台设备的结果;docs/lessons.md 总结经验和失败尝试;EXPERIMENT.md 是包含 165 次实验(包括失败)的完整实验记录。
适用人群与注意事项
这个项目适合手头有闲置小设备、愿意折腾本地推理的开发者,尤其是关注边缘 AI、端侧 LLM、量化和 llama.cpp 生态的人。它不是开箱即用的通用推理框架,很多步骤需要按照设备文档操作,部分设备还需要越狱或特定的 Android 环境。
需要注意的是,README 中的速度数据均来自具体设备上的实测,不能直接外推到其他硬件;模型权重仍遵循各自的许可证,评估文本来自 Wikipedia 摘录(CC BY-SA 4.0)。项目采用 MIT 许可证,对 llama.cpp 的补丁属于 llama.cpp(MIT)的衍生作品。
项目主页
GitHub:https://github.com/hyperionaidev/smolmaxxing
项目地址:smolmaxxing
相关推荐
STE80 Humanizer:两步改写,让 AI 文本读起来像人写的
Freebie Radar:835 Star 的福利聚合雷达,57 个源定时采集并用 AI 过滤假福利
Muse4AI:让 AI Agent 直接调用本机 Muse 会话生成图片和视频
muse.ai 注册与邀请码兑换协议分析:纯 HTTP Python 实现的协议细节项目
Blender AI 助手 mcp-for-blender-pro:用对话和智能体操作场景
agentes.chat:让团队和 AI 智能体在同一个聊天空间协作的自托管 Slack 替代方案
岛仔 Daozai:用 Rust 打造的 Windows 桌面信息岛,把音乐、邮件与日程收在屏幕边缘
Aion 2 AI 提示词工程工具:Windows 桌面本地运行
最近更新
STE80 Humanizer:两步改写,让 AI 文本读起来像人写的
STE80 Humanizer 是一个面向 AI Agent 的写作技能,先用 26 条规则清理 AI 写作痕迹,再把句子结构向 ASD-STE100 简化技术英语靠拢到约 80%。本文介绍它的两步方法、三种模式、安装方式、检查脚本和适用边界。
smolmaxxing:在电视盒子、旧iPad和手机上跑起16B到80B大模型
smolmaxxing 是基于 llama.cpp 的端侧推理项目,已在电视盒子、旧 iPad 和 OnePlus 手机上实测运行 2B 到 80B 模型,通过定制内核、内存裁剪、专家按需从闪存读取等技术,让模型大小超出可用内存的设备也能完成推理。
Freebie Radar:835 Star 的福利聚合雷达,57 个源定时采集并用 AI 过滤假福利
Freebie Radar 是一个自托管的福利与多兴趣信息聚合雷达,用 57 个源定时采集、AI 语义审核过滤假福利,并按获取方式分级和多路由推送到 Telegram。项目基于 TypeScript 与 SQLite,支持 Docker Compose 快速启动,GitHub 上已有 835 Star。
Muse4AI:让 AI Agent 直接调用本机 Muse 会话生成图片和视频
Muse4AI 是一个运行在 Windows 本机的桥接工具,通过 REST、MCP 和 OAuth 把用户的 Muse 会话开放给 ChatGPT、Claude、Cursor、Codex、n8n 等 AI Agent,用于生成图片视频、继续对话、延长或按描述编辑视频。项目不经过自有云端中转,结果和密钥保存在本机,采用 MIT 许可证。
muse.ai 注册与邀请码兑换协议分析:纯 HTTP Python 实现的协议细节项目
一个用 Python 纯 HTTP 实现 muse.ai 注册与邀请码兑换流程的研究项目,整理了抓包比对得出的协议细节,包括 OTP 确认、会话引导、动态披露文案、vm/wake 调用和邀请码兑换失败原因等。项目不采用 MIT 等开源许可证,仅供个人非商业学习研究使用。
Blender AI 助手 mcp-for-blender-pro:用对话和智能体操作场景
mcp-for-blender-pro 是一个面向 Blender 的 AI 助手插件,内置 MCP 服务器,支持 OpenAI、Claude、Gemini、Ollama 等模型,可通过对话检查场景、创建物体、编辑材质和搜索资产,并提供单助手与多智能体团队链工作流。
agentes.chat:让团队和 AI 智能体在同一个聊天空间协作的自托管 Slack 替代方案
agentes.chat 是一个开源、可自托管的 Slack 替代方案,让 AI 智能体作为正式成员加入频道和私信,支持 Claude、ChatGPT/Codex、Gemini、Grok 等模型,配备 MCP 工具、独立计算机与浏览器、例行任务、记忆和审批机制,并提供 Web、桌面和手机应用。
岛仔 Daozai:用 Rust 打造的 Windows 桌面信息岛,把音乐、邮件与日程收在屏幕边缘
岛仔 Daozai 是一个用 Rust 和 egui 构建的 Windows 桌面信息岛,收起在屏幕边缘,展开后可查看音乐歌词、微信/QQ 未读、邮件验证码、日程待办、天气和多种 AI 服务额度。项目开源、MIT 许可,提供安装版与免安装版。
Aion 2 AI 提示词工程工具:Windows 桌面本地运行
aion-2-trainer-tool 是一个面向 Aion 2 玩家的 Windows 桌面 AI 提示词工程工具包,提供本地运行、预设提示词库、变量注入和 TOML 配置,当前 GitHub Stars 为 1199。
AIDA 64 Extreme 2026:面向 Windows x64 的独立硬件诊断安装包
AIDA 64 Extreme 2026 是一个面向 Windows x64 的独立桌面安装包,把硬件诊断、传感器监控、压力测试和基准测试打包在一起,构建时完成授权配置,强调离线部署和可重复安装。本文根据 GitHub README 整理其功能、运行流程、兼容性与注意事项。




