本地推理

llama.cpp 是一个用纯C/C++ 实现的开源函数库，专注于在消费级硬件上高效运行大型语言模型，尤其是在GGUF格式下，并支持多平台推理。