编译llama.cpp
基础依赖
1.编译工具
1
| sudo apt-get update && sudo apt-get install -y build-essential cmake git wget
|
2.数学库支持
1
| sudo apt-get install -y libblas-dev liblapack-dev
|
3.网络支持
1
| sudo apt-get install -y libcurl4-openssl-dev
|
开始编译
1.克隆仓库然后编译
1
| git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp && mkdir build && cd build && cmake .. && cmake --build . --config Release
|
2.验证安装
1
| ./bin/llama-cli --version
|
加速支持
AMD GPU（HIP）
1
| cmake .. -DGGML_HIPBLAS=ON
|
需安装 ROCm 和 HIP 工具链
Vulkan 加速
Linux 系统：安装 Vulkan SDK 和驱动
1
| sudo apt install vulkan-tools libvulkan-dev vulkan-validationlayers
|
启用支持
1
| cmake .. -DGGML_VULKAN=ON
|
验证
1
| ./llama-cli -m model.gguf -p "Hello" --gpu-vulkan
|
需确保 GPU 支持 Vulkan 1.2 及以上版本（如 AMD RDNA 架构、NVIDIA Maxwell 后显卡）
OpenBLAS 加速（CPU）
1
| sudo apt-get install -y libopenblas-dev && cmake .. -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS
|
使用的模型格式
使用模型格式为gguf