AI软件下载
有趣网站推荐及实用软件下载

用 Agent 系统优化本地 LLM 推理速度:inference-optimisation-skill 项目介绍

本地部署大模型时,很多调参往往停留在“换个 flag 试试”的层面:测得一个更好的数字,却不知道它是否接近硬件上限,也很难判断提升来自真实优化还是运行漂移。inference-optimisation-skill 是一个面向 AI Agent 的“技能”仓库,目标是把本地 LLM 服务速度的优化过程写成可执行的工作流,让 Agent 在任意硬件、任意量化方式下,系统地对解码、预填充、KV 缓存、启动时间和首 token 延迟进行爬坡式优化。

项目目前获得 629 个 GitHub Stars 和 61 个 Forks,主要语言为 Python,采用 MIT 许可证。需要说明的是,这些只是 GitHub 平台上的项目指标,并非性能排名或官方认证。

它解决什么问题

这个项目不是一份“参数清单”,而是一套优化方法。README 明确写道:它记录的是作者实际获得这些加速效果的过程。核心思路包括:先计算理论性能上限,再每次只改动一个变量,用交错对照组进行测量,记录包括失败在内的所有结果,用长上下文检索做稳定性门槛检查,最后在发布前验证一个干净、固定版本的构建。

这解决的是本地推理调优中常见的几个痛点:不知道当前性能距离理论上限还有多远;单次运行的“提升”可能只是噪声;流式输出块数不等于真实 token 数;统一内存 GPU 的显存占用可能被 cgroups 漏算;以及长上下文下性能或检索能力不稳定。

覆盖的优化方向

根据 README,该技能覆盖以下方面:

  • 单用户与并发场景下的解码速度;
  • 投机解码(speculative decoding);
  • 预填充(prefill);
  • KV 缓存大小;
  • 启动时间与首 token 时间(TTFT)。

它可以在内存上限约束下工作,并且每个结果都要通过完整上下文稳定性检查。

技能由哪三部分组成

SKILL.md:流程说明。包括资产盘点、理论上限计算、基本规则、优化循环与杠杆顺序,以及何时停止、如何验收发布和如何汇报结果。

references/:按需加载的参考文档。包括:

  • ceilings.md:如何计算解码、预填充、TTFT、启动时间和 KV 缓存的理论上限,并附有完整示例;
  • methodology.md:测量陷阱,例如按块计数的 token、尺寸错误的提示词、接受计数器、运行漂移、统一内存记账;
  • levers.md:每个优化杠杆及其测量证据,区分通用与特定技术栈;
  • gotchas.md:vLLM、SGLang、llama.cpp、ExLlama 以及 Intel、NVIDIA、Apple、AMD 硬件上的已知陷阱;
  • publishing.md:版本固定、干净构建、六项验收门槛、证明构建与最佳结果一致、结果卡片。

scripts/:小型、与推理引擎无关的测试工具。由标准库 Python 和 bash 组成,包括:

  • bench.py:对任意 OpenAI 兼容服务器进行基准测试,测量启动时间和短提示词 TTFT、c1 解码中位数、cN 聚合解码、多个长度的冷预填充、长上下文针检索、峰值内存及上限看门狗,并标记循环输出、失败请求和电池供电运行。token 数取自服务器 usage 统计,而不是流式块,结果写入 ledger.jsonl;
  • ceiling.py:根据实测带宽、FLOPs 和组件大小的 JSON 计算理论上限;
  • queue.sh:串行、可分离的运行队列,用于交错执行对照组、候选组和对照组;
  • mem.sh:报告容器的真实内存占用,包括统一内存 GPU 上 cgroups 看不到的驱动驻留内存。

怎么使用

该技能面向 Claude Code 以及任何能够加载 SKILL.md 风格技能的 Agent。README 给出了 Claude Code 用户级安装方式,安装后可以直接提出任务,例如让 Agent 在 40 GiB 内存上限下对运行在 :8000 的模型进行解码和预填充爬坡优化,或者询问该模型在该机器上的理论最大 tok/s。

对于其他 Agent,可以将它们指向 skills/inference-optimisation/SKILL.md,或把 PROMPT.md 作为任务提示词粘贴进去。任何模型也可以按照 PROMPT.md 执行。项目还提供了不依赖 Agent 的快速开始方式,但具体命令需参考仓库文档。

实测结果示例

README 列出了该技能提炼自的一些爬坡实验结果。以下数字均是在对应硬件上实测得到的,方法和原始数据可在仓库链接的来源中查看。

  • Intel Arc B390 iGPU(笔记本,64 GB 统一 LPDDR5X,约 115 GB/s),模型 Ornith-1.5-35B-A3B,EXL3 4 bpw,SGLang XPU + MTP:单用户解码从 43.6 tok/s 提升到中位数 53 tok/s;4 用户解码从 84.7 提升到 103 tok/s;32K 预填充从 1,037 提升到 1,660 tok/s;256K 预填充从 297 提升到 628 tok/s;KV 缓存从 264K tokens 提升到 4 × 256K;启动时间从 113 秒缩短到 43 秒。
  • Intel Arc Pro B70,Qwen3.8-27B,EXL3 4 bpw,vLLM + 自定义 XPU 内核:单用户解码 91.2 tok/s,16 用户 365 tok/s;同一张卡使用 llama.cpp Q4_K_M 时为 25.0 tok/s;4K/32K/128K/254K 预填充从 1,654/1,434/928/650 提升到 2,421/2,259/1,415/911 tok/s。
  • RTX 3090 上的多个模型配置也给出了具体解码数据,例如 Qwen3.8-27B EXL3 3 bpw + MTP 达到 96.2 tok/s(散文)和 141.1 tok/s(代码),单用户。
  • 4× H200 NVL,DeepSeek-V4.1-Flash,vLLM + 投机解码:从负载下崩溃变为 229.1 tok/s 解码、17,546 tok/s 预填充,六项验收门槛全部通过。

README 还专门解释了 B390 这一结果:理论上限计算显示,单用户 100 tok/s 只有存在两个有效投机草稿时才可能达到;该模型的草稿头在深度 2 时接受率约为 14%,因此实际目标约为 88–97 tok/s,最终达到约 55%,其余差距来自 GEMV 内核效率。256K 预填充达到 628 tok/s,而理论上限约为 670–684 tok/s。技能要求 Agent 提前计算这些上限,因此可以尽早判断目标是否超出物理限制。

适用人群

这个项目适合正在本地或私有环境部署 LLM 服务、希望系统化提升推理速度的开发者,尤其是使用 vLLM、SGLang、llama.cpp 或 ExLlama,并在 Intel、NVIDIA、Apple 或 AMD 硬件上工作的团队。也适合已经在使用 Claude Code 等 Agent 工具、希望把性能调优流程交给 Agent 执行的用户。

注意事项

项目中的性能数据均对应 README 所注明的硬件、模型、量化和引擎版本,不能直接套用到其他环境。使用前应理解其“先算上限、单变量改动、交错对照、记录失败、长上下文验收”的方法,而不是把某个 flag 当成通用答案。README 也提醒,大部分单次运行的“胜利”可能只是漂移,测量噪声约为 ±5–10%。

项目欢迎提交新的优化杠杆、陷阱或结果,但每个 PR 需要提供硬件、模型、量化方式、引擎版本、改动前后数字、测量方法以及原始数据链接。

项目主页:https://github.com/sybil-solutions/inference-optimisation-skill

项目地址:inference-optimisation-skill


AI软件用不了?2元爽玩4090: 立即体验>>

热门大语言模型API免费体验: 立即获取>>
赞(0) 打赏
软件无法使用?点击查看常见问题说明>>

最近更新

觉得文章对你有帮助就打赏一下作者

非常感谢你的打赏,我将有更多的动力继续提供优质内容,让我们一起创建更加美好的世界!

支付宝扫一扫

微信扫一扫