llama.cpp本地部署qwen2量化后的gguf模型

llama.cpp本地部署qwen2-7b-q8模型（显卡：RTX4090-16G）

以下所有内容都基于C++编写的llama.cpp框架进行操作

1.GitHub下载llama.cpp源码：这里

git clone https://github.com/ggerganov/llama.cpp.git

2.对源码进行编译（编译必须依赖：visual studio 2022，cmake，cuda tookit）

cd llama.cpp

# 执行编译(仅限于cuda环境)
cmake -B build -DGGML_CUDA=ON

# 该指令会编译全部的.exe文件速度过慢，可以选择只编译main.cpp，参考下一条指令
cmake --build build --config Release -j 16

# 该指令只会编译main.cpp
cmake --build build --config Release -j 16 -t llama-cli

#以上指令适用于windows下的cuda编译以及linux上的cuda编译
（如果是windows也可以在生成.sln工程文件后在visual studio中手动编译，两者皆可）

注：windows上编译教程（打开工程文件后执行下列操作）