返回老金精选
经典馆 · 经受时间考验的常青项目模型与部署
llama.cpp
Star 快照：⭐ 121.1k · 2026-07 录
访问 GitHub 仓库推荐理由
本地推理的底层引擎：Ollama 和大量桌面 AI 应用的底座都是它。要在低配机器、边缘设备上跑模型，或者精细控制量化和显存，绕不开这个项目。
老金建议
日常用 Ollama 就够，llama.cpp 留给需要抠性能的场景。GGUF 模型选 Q4_K_M 是质量/体积甜点；server 模式可以直接当 OpenAI 兼容端点用。
Star 数为 2026-07 快照，仅作量级参考；实时数据以 GitHub 为准。