llama.cpp C/C++ 编写的便携式大型语言模型推理引擎

分享海报

@user_3c6cb52e/llama-cpp-portable-llm-inference

llama.cpp 是一个高性能的 C/C++ 实现，用于在各种硬件上运行 LLM 推理。它支持 GGUF 模型量化、NVIDIA/AMD/Apple Silicon 的 GPU 加速，并提供 CLI 和 OpenAI 兼容的 HTTP 服务器用于本地模型服务。