llama.cpp：用 C/C++ 实现本地大模型与视觉语言模型推理

llama.cpp 是一个用 C/C++ 编写的 LLM 与 VLM 推理项目，目标是在尽量少的配置下，让模型能在本地或云端的多种硬件上运行。它构建在 ggml 库之上，强调无额外依赖的 C/C++ 实现，并通过量化、CPU 指令集优化以及多种 GPU/NPU 后端来适配不同设备。项目采用 MIT 许可证，GitHub 上已获得 135,164 Star、25,639 Fork（数据为页面展示值），主要语言为 C++。

项目定位与解决的问题

llama.cpp 的核心目标不是训练模型，而是做推理：让用户能在较广泛的硬件环境中运行大语言模型和视觉语言模型，并尽量减少初始配置负担。根据 README，它追求的是“最小设置”和“当前较好的性能表现”，覆盖本地与云端场景。

它把模型推理能力做成纯 C/C++ 实现，不引入额外依赖，并围绕 ggml 提供底层计算支持。对于希望在自己的机器上运行模型、又不想被复杂框架绑定的开发者，这是一个偏工程化的选择。

功能与技术特点

README 明确列出的技术特点包括：

• 纯 C/C++ 实现，无额外依赖，项目建立在 ggml 库之上。
• Apple Silicon 是重点支持平台，通过 ARM NEON、Accelerate 和 Metal 框架进行优化。
• x86 架构支持 AVX、AVX2、AVX512 和 AMX。
• RISC-V 架构支持 RVV、ZVFH、ZFH、ZICBOP 和 ZIHINTPAUSE。
• 整数量化覆盖 1.5-bit、2-bit、3-bit、4-bit、5-bit、6-bit 和 8-bit，用于加快推理并降低内存占用。
• 面向 NVIDIA GPU 的自定义 CUDA 内核，同时通过 HIP 支持 AMD GPU、通过 MUSA 支持摩尔线程 GPU。
• 支持 Vulkan 和 SYCL 后端。
• CPU+GPU 混合推理，可对超过总显存容量的模型进行部分加速。

此外，README 提供了支持后端表格，涵盖 BLAS、BLIS、CANN（华为昇腾 NPU）、CUDA（NVIDIA GPU）、HIP（AMD GPU）、Hexagon（骁龙）、IBM zDNN、MUSA、Metal（Apple Silicon）、OpenCL（Adreno GPU）、OpenVINO（标注为进行中，面向 Intel CPU/GPU/NPU）、RPC、SYCL（Intel GPU）、VirtGPU、Vulkan、WebGPU 和 ZenDNN（AMD CPU）等。具体可用性会随后端和版本变化，使用时应以项目文档为准。

安装与使用方式

README 给出的快速开始包含几种安装路径：

• 访问 llama.app 并按照说明操作；
• 使用 Docker 运行，参见项目的 Docker 文档；
• 从 releases 页面下载预编译二进制文件；
• 克隆仓库并从源码构建，参考项目的构建指南。

安装完成后，README 展示了基于命令行工具的 VLM 会话，以及针对 llama-server 的内置 Web UI。也就是说，项目不仅提供底层库，还附带 CLI、server 等工具形态；具体命令和参数请以官方文档为准，本文不虚构安装命令或硬件要求。

工具与文档生态

README 的文档部分列出了若干工具和开发主题，包括：

• cli：命令行推理工具；
• completion：补全相关工具；
• server：服务端工具，提供 REST API；
• 文本转语音（TTS）模型支持；
• GBNF 语法，用于约束生成输出；
• 开发相关文档：如何构建、在 Docker 中运行、Android 构建、多 GPU 使用、性能问题排查、GGML 技巧、XCFramework、补全、模型和发布流程等。

这些内容说明 llama.cpp 不只是单一推理程序，还围绕模型运行、服务化、移动端构建和多 GPU 场景提供了文档入口。

适用人群与场景

从项目特点看，llama.cpp 适合以下方向：

• 希望在本地机器上运行 LLM 或 VLM，并需要控制内存占用的开发者；
• 使用 Apple Silicon、x86、RISC-V 等不同 CPU 架构，或需要 CUDA、HIP、Metal、Vulkan、SYCL 等后端支持的工程团队；
• 需要把模型推理嵌入 C/C++ 应用，或通过 llama-server 提供本地服务接口的项目；
• 需要在显存不足时利用 CPU+GPU 混合推理来部分加速较大模型的使用者；
• 关注量化推理、希望尝试不同位宽量化方案的研究或工程人员。

需要留意的是，README 中提到的后端支持、工具能力和构建方式较多，不同平台和版本的实际体验可能存在差异。项目采用 MIT 许可证；GitHub Star 和 Fork 数量仅反映该平台上的社区关注度，不代表官方认证或全网排名。使用前建议阅读对应版本的构建指南、后端文档和发布说明。

项目主页

GitHub 仓库：https://github.com/ggml-org/llama.cpp

项目地址：llama.cpp