GGUF模型的不同量化模式说明

最新推荐文章于 2025-07-18 22:10:12 发布
原创 最新推荐文章于 2025-07-18 22:10:12 发布 · 1.2w 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#gguf #量化

文章介绍了Qwen1.5-72B-Chat_GGUF模型提供的8种不同量化变体，包括Q5_K_M和Q4_K_M，它们在精度、资源使用和速度上有所权衡。推荐使用Q5_K_M以保持大部分性能，或根据内存需求选择Q4_K_M。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在下载Qwen1.5-72B-Chat_GGUF模型时，发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。

下图是为了证明不同的模型质量，按照 llama.cpp 在wiki测试集上评估他们的困惑度。结果如下:

在这里插入图片描述

q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。
q6_k：将Q8_K用于所有张量。
q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。
q5_0： 原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
q4_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q4_K
q4_0：原始量化方法，4 位。
q3_k_m：将 Q4_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K
q2_k：将 Q4_K 用于 attention.vw 和 feed_forward.w2 张量，Q2_K用于其他张量。

根据经验，建议使用 Q5_K_M，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。

内容参考：https://blog.csdn.net/znsoft/article/details/134939795
使用 GGUF 和 llama.cpp 量化 Llama 模型
人工智能领域专家
07-06 727
由于大语言模型(LLMs)的庞大规模，量化已成为高效运行它们的关键技术。通过降低权重精度，可以在保留模型大部分性能的同时节省内存并加速推理。最近，8 位和 4 位量化技术实现了在消费级硬件上运行 LLMs 的可能性。结合 Llama 模型的发布及高效微调技术(LoRA、QLoRA)，这催生了一个丰富的本地 LLMs 生态系统，如今已能与 OpenAI 的 GPT-3.5 和 GPT-4 分庭抗礼。除本文介绍的基础方法外，主要有三种量化技术：NF4、GPTQ 和 GGML。
大语言模型之七- Llama-2单GPU微调SFT
shichaog的专栏
09-02 7268
可以使用tranformers和trl库两种方式实现微调，TRL是huggingface开发的模型微调库，旨在简化和简化语言模型的微调过程，凭借其直观的接口和广泛的功能，TRL使研究人员和从业者能够轻松高效地微调大型语言模型，如LLaMA-v2-7B。通过利用TRL，我们可以释放语言模型化的全部潜力。它为各种NLP任务提供了一套全面的工具和技术，包括文本分类、命名实体识别、情感分析等等。有了TRL，能够根据特定需求微调LLaMA-v2-7B定制模型的功能。
一文搞懂大模型文件存储格式新宠GGUF
顺其自然~专栏
01-09 3664
GGUF（GPT-Generated Unified Format）是由 Georgi Gerganov​​​​​​​（著名开源项目llama.cpp的创始人）定义发布的一种大模型文件格式。GGUF 继承自其前身 GGML，但 GGML 格式有一些缺点，已被完全弃用并被 GGUF 格式取代。GGUF 是一种二进制格式文件的规范，原始的大模型预训练结果经过转换后变成 GGUF 格式可以更快地被载入使用，也会消耗更低的资源。原因在于 GGUF 采用了多种技术来保存大模型预训练结果，包括采用。
选择哪种量化方法适合您？（GPTQ vs. GGUF vs. AWQ）
数智笔记
02-24 4436
在过去的一年中，我们见证了大型语言模型（LLM）的狂野西部。发布新技术和模型的速度令人惊叹！因此，我们有许多不同的标准和处理LLM的方式。在本文中，我们将探讨一个话题，即通过几种（量化）标准加载本地LLM。通过分片、量化和不同的保存和压缩策略，很难知道哪种方法适合您。在示例中，我们将使用，这是一个经过（DPO）训练的Mistral 7B的精调变体。🔥：在加载LLM的每个示例之后，建议重新启动您的笔记本以防止内存不足错误。加载多个LLM需要大量的RAM/VRAM。您还可以使用跟随操作，以确保一切正常。
【机器学习&深度学习】什么是 GGUF？
最新发布
qq_62223405的博客
07-18 1424
​GGUF 全称是 GPT-Generated Unified Format，是由开源社区（特别是 llama.cpp 项目）提出的一种 统一的模型格式，用于本地部署大语言模型。
用GGUF和Llama.cpp量化Llama模型
wangyifan123456zz的博客
02-26 5681
GGML是一个专注于机器学习的C语言库。它是由Georgi Gerganov创建的，这是GG的首字母缩写。这个库不仅提供了机器学习的基本元素，如张量，而且还提供了一种独特的二进制格式来分发llm。该格式最近更改为GGUF。这种新格式被设计为可扩展的，因此新特性不会破坏与现有模型的兼容性。它还将所有元数据集中在一个文件中，例如特殊 tokens、RoPE缩放参数等。简而言之，它解决了历史上的一些痛点，而且应该经得起未来的考验。欲了解更多信息，您可以在此地址阅读规范。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 8277
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5592
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
为什么要转GGUF格式？
weixin_43966908的博客
01-24 1153
GGUF 格式的全名为（GPT-Generated Unified Format），提到GGUF 就不得不提到它的前身 GGML（GPT-Generated Model Language）。GGML 是专门为了机器学习设计的张量库，最早可以追溯到 2022/10。其目的是为了有一个单文件共享的格式，并且易于在不同架构的 GPU 和 CPU 上进行推理。但在后续的开发中，遇到了灵活性不足、相容性及难以维护的问题。
充分发挥 GGUF 模型潜力：优化推理超参数指南
人工智能领域专家
06-30 825
无论如何，若您有足够预算和时间，建议尝试调整超参数——2 位模型的表现会随设置产生显著波动，不存在放之四海而皆准的方案。本次测试的模型包括：全精度模型、4 位 AWQ 量化模型、标准 4 位和 2 位 GGUF 版本，以及 Unsloth 的 4 位变体模型。模型变得过于确定性，这会损害准确性。值得注意的是，在最佳配置下，2 位量化的 Q2_K 模型表现极为出色，仅比原版 16 位模型低 3 个准确点。时，仅保留最高逻辑值对应的词元——模型始终选择概率最高的单一词元，使得整个生成过程变为贪婪的确定性路径。
llama.cpp本地部署qwen2量化后的gguf模型
NEWBOY666的博客
08-07 941
编译完成后会在llama.cpp\build\bin\Release下生成llama-cli.exe。祝大家成功复现，如果没有GP的话，cpu或者AMD的相关gpu也是可以的，详细可以查看llama.cpp官网。注：windows上编译教程（打开工程文件后执行下列操作）
QLora微调和GGUF模型转化
m0_57755179的博客
07-03 920
原理: 通过低秩近似方法降低适应数十亿参数模型（如GPT-3）到特定任务或领域的计算量特点: 在训练过程中使用模型默认的16位数据类型缺点: 随着模型参数量增大，显存和内存消耗显著增加改进: 在4位量化的预训练语言 模型中反向传播梯度到低秩适配器优势: 显著降低内存使用量，同时保持全16位微调的性能，量化只发生在训练过程中。
GGML、GGUF、GPTQ 都是啥?
kcarly的专栏
02-04 2178
GGML是一种早期的模型格式，主要用于简化模型存储和推理，但因灵活性不足逐渐被GGUF取代。GGUF是GGML的升级版，提供了更高的灵活性和兼容性，适合在不同设备上运行大型语言模型。GPTQ是一种先进的量化技术，专注于GPU优化，能够显著压缩模型大小并提高推理效率。这三种技术和格式各有优缺点，选择时需根据具体需求（如硬件条件、模型大小和性能要求）进行权衡。存储效率：GGUF通过二进制格式和优化的数据结构，在存储效率上优于GGML，加载和保存速度更快。推理效率。
Llama.cpp大模型量化简明手册
新缸中之脑
06-04 5993
大型语言模型 (LLM)，尤其是像 Mixtral 8x7b（467 亿个参数）这样的大型模型，对内存的要求非常高。当你尝试降低推理成本、提高推理速度或在边缘设备上进行推理时，这种内存需求就会变得明显。解决此问题的一个潜在方法是量化。在本文中，我们将使用易于理解的类比来简化量化的概念，并提供在 LLM 中实现它的实用指南。LLM 虽然功能强大，但由于模型规模较大，因此会消耗大量资源。这对资源受限的设备上部署带来了挑战，并且会阻碍推理速度和效率。量化提供了一种解决方案，即在保持性能的同时降低模型参数的精度。
GLM4参数解释及模型选择指南
qq_49035156的博客
10-28 5712
在这篇文章中，我们将探讨GLM4的参数配置，特别是量化类型，以及如何根据这些参数选择最适合你需求的模型。
AI 模型的优化与应用：大模型本体、蒸馏、量化 与 GGUF
weixin_47420447的博客
02-21 1312
近年来，大型语言模型（LLM）在人工智能领域取得了突破性的进展，但其计算需求高昂，训练和推理成本巨大。因此，如何优化大模型，使其在不同设备和应用场景下更高效地运行，成为了 AI 研究的重要课题。大模型本体指的是未经过任何优化的原始 AI 模型，它通常具有最完整的参数和最高的推理质量，但计算资源需求极高。，牺牲部分精度，但换取更快的推理速度和更低的计算资源需求。等优化技术，并分析它们的区别、应用场景及最佳使用策略。中学习，生成一个更轻量级但仍然具备较强推理能力的模型。，既能减少计算量，又能本地运行 AI。
大语言模型之十七-QA-LoRA
shichaog的专栏
10-12 3234
由于基座模型通常需要海量的数据和算力内存，这一巨大的成本往往只有巨头公司会投入，所以一些优秀的大语言模型要么是大公司开源的，要么是背后有大公司身影公司开源的，如何从优秀的开源基座模型针对特定场景fine-tune模型具有广大的前景，从数据开源、到基座模型到新方法的迭代升级使得个人都有机会践行fine-tune这一过程。
用 7 行代码在本地运行 Llama 2！（苹果silicon-mac m1 m2）项目源码含模型
iCloudEnd的博客
07-21 1059
注意：7B 型号重量约为 4GB，请确保您的机器上有足够的空间。
Qwen2 阿里最强开源大模型（Qwen2-7B）本地部署、API调用和WebUI对话机器人
热门推荐
老牛啊
06-12 1万+
阿里云正式开源通义千问Qwen2系列模型，其中Qwen2-72B成为全球性能最强的开源模型，在全球权威测评中，性能超过美国最强开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。今天老牛同学部署和体验Qwen2-7B中等尺寸模型，包括本地部署、API嗲用和WebUI对话客户端……
openai本地部署如何部署gguf模型
06-07
嗯，用户这次问的是OpenAI的GGUF模型本地部署教程。从问题表述看，用户应该已经对GGUF格式有一定了解，可能看过之前的对话或相关资料。注意到用户特意强调"OpenAI的GGUF模型"这个表述有点奇怪。因为OpenAI官方并没有...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值