大语言模型量化方法对比：GPTQ、GGUF、AWQ

最新推荐文章于 2025-07-11 00:13:26 发布

原创

最新推荐文章于 2025-07-11 00:13:26 发布 · 5.5k 阅读

29 ·

CC 4.0 BY-SA版权

文章标签：

#语言模型 #人工智能 #自然语言处理 #AIGC #chatgpt

原文：大语言模型量化方法对比：GPTQ、GGUF、AWQ - 知乎

在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。

说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。

del model, tokenizer, pipe 

import torch 
torch.cuda.empty_cache()

如果在jupyter中无法释放显存，请重启这个jupyter notebook。

模型加载

加载LLM的最直接、最普通的方式是通过 Transformers。HuggingFace已经创建了一个套件，我们能够直接使用

pip install git+https://github.com/huggingface/transformers.git 
pip install accelerate bitsandbytes xformers

安装完成后，我们可以使用以下管道轻松加载LLM:

from torch import bfloat16
from transformers import pipeline

# Load in your LLM without any compression tricks
pipe = pipeline(
    "text-generation", 
    model="HuggingFaceH4/zephyr-7b-beta", 
    torch_dtype=bfloat16, 
    device_map="auto"
)

我们这里使用zephyr-7b-beta作为示例

这种加载LLM的方法通常不会执行任何压缩技巧。我们来做个使用的示例

messages = [
    {
        "role": "system",
        "content": "You are a friendly chatbot.",
    },
    {
        "role": "user", 
        "content": "Tell me a funny joke about Large Language Models."
    },
]
prompt = pipe.tokenizer.apply_chat_template(
    messages, 
    tokenize=False, 
    add_generation_prompt=True
)

使用内部提示模板生成的提示是这样构造的:

然后，我们可将提示传递给LLM来生成答案:

outputs = pipe(
    prompt, 
    max_new_tokens=25

最低0.47元/天解锁文章

200万优质内容无限畅学