本地部署大模型时,很多调参往往停留在“换个 flag 试试”的层面:测得一个更好的数字,却不知道它是否接近硬件上限,也很难判断提升来自真实优化还是运行漂移。inference-optimisation-skill 是一个面向 AI Agent 的“技能”仓库,目标是把本地 LLM 服务速度的优化过程写成可执行的工作流,让 Agent 在任意硬件、任意量化方式下,系统地对解码、预填充、KV 缓存、启动时间和首 token 延迟进行爬坡式优化。
项目目前获得 629 个 GitHub Stars 和 61 个 Forks,主要语言为 Python,采用 MIT 许可证。需要说明的是,这些只是 GitHub 平台上的项目指标,并非性能排名或官方认证。
它解决什么问题
这个项目不是一份“参数清单”,而是一套优化方法。README 明确写道:它记录的是作者实际获得这些加速效果的过程。核心思路包括:先计算理论性能上限,再每次只改动一个变量,用交错对照组进行测量,记录包括失败在内的所有结果,用长上下文检索做稳定性门槛检查,最后在发布前验证一个干净、固定版本的构建。
这解决的是本地推理调优中常见的几个痛点:不知道当前性能距离理论上限还有多远;单次运行的“提升”可能只是噪声;流式输出块数不等于真实 token 数;统一内存 GPU 的显存占用可能被 cgroups 漏算;以及长上下文下性能或检索能力不稳定。
覆盖的优化方向
根据 README,该技能覆盖以下方面:
- 单用户与并发场景下的解码速度;
- 投机解码(speculative decoding);
- 预填充(prefill);
- KV 缓存大小;
- 启动时间与首 token 时间(TTFT)。
它可以在内存上限约束下工作,并且每个结果都要通过完整上下文稳定性检查。
技能由哪三部分组成
SKILL.md:流程说明。包括资产盘点、理论上限计算、基本规则、优化循环与杠杆顺序,以及何时停止、如何验收发布和如何汇报结果。
references/:按需加载的参考文档。包括:
ceilings.md:如何计算解码、预填充、TTFT、启动时间和 KV 缓存的理论上限,并附有完整示例;methodology.md:测量陷阱,例如按块计数的 token、尺寸错误的提示词、接受计数器、运行漂移、统一内存记账;levers.md:每个优化杠杆及其测量证据,区分通用与特定技术栈;gotchas.md:vLLM、SGLang、llama.cpp、ExLlama 以及 Intel、NVIDIA、Apple、AMD 硬件上的已知陷阱;publishing.md:版本固定、干净构建、六项验收门槛、证明构建与最佳结果一致、结果卡片。
scripts/:小型、与推理引擎无关的测试工具。由标准库 Python 和 bash 组成,包括:
bench.py:对任意 OpenAI 兼容服务器进行基准测试,测量启动时间和短提示词 TTFT、c1 解码中位数、cN 聚合解码、多个长度的冷预填充、长上下文针检索、峰值内存及上限看门狗,并标记循环输出、失败请求和电池供电运行。token 数取自服务器 usage 统计,而不是流式块,结果写入ledger.jsonl;ceiling.py:根据实测带宽、FLOPs 和组件大小的 JSON 计算理论上限;queue.sh:串行、可分离的运行队列,用于交错执行对照组、候选组和对照组;mem.sh:报告容器的真实内存占用,包括统一内存 GPU 上 cgroups 看不到的驱动驻留内存。
怎么使用
该技能面向 Claude Code 以及任何能够加载 SKILL.md 风格技能的 Agent。README 给出了 Claude Code 用户级安装方式,安装后可以直接提出任务,例如让 Agent 在 40 GiB 内存上限下对运行在 :8000 的模型进行解码和预填充爬坡优化,或者询问该模型在该机器上的理论最大 tok/s。
对于其他 Agent,可以将它们指向 skills/inference-optimisation/SKILL.md,或把 PROMPT.md 作为任务提示词粘贴进去。任何模型也可以按照 PROMPT.md 执行。项目还提供了不依赖 Agent 的快速开始方式,但具体命令需参考仓库文档。
实测结果示例
README 列出了该技能提炼自的一些爬坡实验结果。以下数字均是在对应硬件上实测得到的,方法和原始数据可在仓库链接的来源中查看。
- Intel Arc B390 iGPU(笔记本,64 GB 统一 LPDDR5X,约 115 GB/s),模型 Ornith-1.5-35B-A3B,EXL3 4 bpw,SGLang XPU + MTP:单用户解码从 43.6 tok/s 提升到中位数 53 tok/s;4 用户解码从 84.7 提升到 103 tok/s;32K 预填充从 1,037 提升到 1,660 tok/s;256K 预填充从 297 提升到 628 tok/s;KV 缓存从 264K tokens 提升到 4 × 256K;启动时间从 113 秒缩短到 43 秒。
- Intel Arc Pro B70,Qwen3.8-27B,EXL3 4 bpw,vLLM + 自定义 XPU 内核:单用户解码 91.2 tok/s,16 用户 365 tok/s;同一张卡使用 llama.cpp Q4_K_M 时为 25.0 tok/s;4K/32K/128K/254K 预填充从 1,654/1,434/928/650 提升到 2,421/2,259/1,415/911 tok/s。
- RTX 3090 上的多个模型配置也给出了具体解码数据,例如 Qwen3.8-27B EXL3 3 bpw + MTP 达到 96.2 tok/s(散文)和 141.1 tok/s(代码),单用户。
- 4× H200 NVL,DeepSeek-V4.1-Flash,vLLM + 投机解码:从负载下崩溃变为 229.1 tok/s 解码、17,546 tok/s 预填充,六项验收门槛全部通过。
README 还专门解释了 B390 这一结果:理论上限计算显示,单用户 100 tok/s 只有存在两个有效投机草稿时才可能达到;该模型的草稿头在深度 2 时接受率约为 14%,因此实际目标约为 88–97 tok/s,最终达到约 55%,其余差距来自 GEMV 内核效率。256K 预填充达到 628 tok/s,而理论上限约为 670–684 tok/s。技能要求 Agent 提前计算这些上限,因此可以尽早判断目标是否超出物理限制。
适用人群
这个项目适合正在本地或私有环境部署 LLM 服务、希望系统化提升推理速度的开发者,尤其是使用 vLLM、SGLang、llama.cpp 或 ExLlama,并在 Intel、NVIDIA、Apple 或 AMD 硬件上工作的团队。也适合已经在使用 Claude Code 等 Agent 工具、希望把性能调优流程交给 Agent 执行的用户。
注意事项
项目中的性能数据均对应 README 所注明的硬件、模型、量化和引擎版本,不能直接套用到其他环境。使用前应理解其“先算上限、单变量改动、交错对照、记录失败、长上下文验收”的方法,而不是把某个 flag 当成通用答案。README 也提醒,大部分单次运行的“胜利”可能只是漂移,测量噪声约为 ±5–10%。
项目欢迎提交新的优化杠杆、陷阱或结果,但每个 PR 需要提供硬件、模型、量化方式、引擎版本、改动前后数字、测量方法以及原始数据链接。
项目主页:https://github.com/sybil-solutions/inference-optimisation-skill
项目地址:inference-optimisation-skill
相关推荐
Lastbook:把生存手册、离线地图和本地 AI 装进一台电脑的开源离线知识库
WebsiteBench:评测 AI 智能体能否通过浏览器探索重建完整网站
Auto Ontology MCP:把语义层接入 Claude、ChatGPT,让数据库问答不再“静默出错”
PeakCut:开源自托管的 AI 视频切片工具,把长视频和直播变成竖版短片
ai-texture-forge:在 Blender 视口里用 AI 生成无缝 PBR 纹理的插件
STE80 Humanizer:两步改写,让 AI 文本读起来像人写的
smolmaxxing:在电视盒子、旧iPad和手机上跑起16B到80B大模型
Freebie Radar:835 Star 的福利聚合雷达,57 个源定时采集并用 AI 过滤假福利
最近更新
用 Agent 系统优化本地 LLM 推理速度:inference-optimisation-skill 项目介绍
inference-optimisation-skill 是一个面向 AI Agent 的本地 LLM 推理优化技能,用“先算理论上限、单变量改动、交错对照测量、长上下文验收”的工作流,系统提升解码、预填充、KV 缓存、启动时间和首 token 延迟表现,支持 Claude Code 等可加载 SKILL.md 的 Agent。
Lastbook:把生存手册、离线地图和本地 AI 装进一台电脑的开源离线知识库
Lastbook 是一个面向 macOS、Windows 和 Linux 的离线生存知识库,整合手册、视频、百科、离线地图和可选本地 AI,首次下载后即可在断网环境使用。本文介绍其功能、运行环境、安装方式、隐私设计和适用场景。
WebsiteBench:评测 AI 智能体能否通过浏览器探索重建完整网站
WebsiteBench 是一个面向 AI 智能体的网站重建评测基准,包含 70 个网站任务和 46,916 个隐藏测试用例,要求智能体通过浏览器探索反向工程出功能和视觉都接近原站的全栈版本。
Auto Ontology MCP:把语义层接入 Claude、ChatGPT,让数据库问答不再“静默出错”
Auto Ontology MCP 是一个基于 Python 的 MCP 服务器,把 NVIDIA Auto Ontology 的语义层接入 Claude、ChatGPT、Cursor 等客户端。它不需要 LLM API key,由客户端模型完成语言步骤,服务器负责 schema 扫描、键推断、SQL 校验和本地知识库存储,帮助减少 Text-to-SQL 的静默错误。
PeakCut:开源自托管的 AI 视频切片工具,把长视频和直播变成竖版短片
PeakCut 是一个自托管的 AI 视频切片工具,能把长视频和直播自动转成带字幕的 9:16 竖版短片,支持自带 AI 密钥、实时直播切片和连接社交平台发布。
ai-texture-forge:在 Blender 视口里用 AI 生成无缝 PBR 纹理的插件
ai-texture-forge 是一个 Blender 插件,可在 3D 视口内用文本提示生成无缝 PBR 材质、概念图和场景级投影纹理,支持本地 GPU 或云端扩散模型,面向 Windows x64 和 Blender 4.2+。
STE80 Humanizer:两步改写,让 AI 文本读起来像人写的
STE80 Humanizer 是一个面向 AI Agent 的写作技能,先用 26 条规则清理 AI 写作痕迹,再把句子结构向 ASD-STE100 简化技术英语靠拢到约 80%。本文介绍它的两步方法、三种模式、安装方式、检查脚本和适用边界。
smolmaxxing:在电视盒子、旧iPad和手机上跑起16B到80B大模型
smolmaxxing 是基于 llama.cpp 的端侧推理项目,已在电视盒子、旧 iPad 和 OnePlus 手机上实测运行 2B 到 80B 模型,通过定制内核、内存裁剪、专家按需从闪存读取等技术,让模型大小超出可用内存的设备也能完成推理。
Freebie Radar:835 Star 的福利聚合雷达,57 个源定时采集并用 AI 过滤假福利
Freebie Radar 是一个自托管的福利与多兴趣信息聚合雷达,用 57 个源定时采集、AI 语义审核过滤假福利,并按获取方式分级和多路由推送到 Telegram。项目基于 TypeScript 与 SQLite,支持 Docker Compose 快速启动,GitHub 上已有 835 Star。
Muse4AI:让 AI Agent 直接调用本机 Muse 会话生成图片和视频
Muse4AI 是一个运行在 Windows 本机的桥接工具,通过 REST、MCP 和 OAuth 把用户的 Muse 会话开放给 ChatGPT、Claude、Cursor、Codex、n8n 等 AI Agent,用于生成图片视频、继续对话、延长或按描述编辑视频。项目不经过自有云端中转,结果和密钥保存在本机,采用 MIT 许可证。



