哪种量化方法更好：GPTQ vs. GGUF vs. AWQ[大模型量化]

原创 已于 2024-07-10 20:12:27 修改 · 4.7k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #机器学习

于 2024-07-10 15:06:20 首次发布

那种量化方法更好：GPTQ vs. GGUF vs. AWQ

GPTQ

GPTQ是Post-Training Quantization for GPT Models的缩写，即GPT模型的后训练量化

GPTQ是一种针对4位量化的后训练量化方法，主要侧重于在GPU上提升推理性能。

该方法的核心思想是通过将所有权重压缩到4位量化，通过最小化权重的均方误差来实现量化。在推理过程中，它会动态将权重反量化为float16，以提高性能同时保持低内存消耗。

GPTQ是目前最常用的量化压缩方法。它主要针对GPU进行优化，如果大模型太大而无法加载到GPU中，那么我们首先考虑使用

最低0.47元/天 解锁文章

200万优质内容无限畅学
选择哪种量化方法适合您？（GPTQ vs. GGUF vs. AWQ）
数智笔记
02-24 4439
在过去的一年中，我们见证了大型语言模型（LLM）的狂野西部。发布新技术和模型的速度令人惊叹！因此，我们有许多不同的标准和处理LLM的方式。在本文中，我们将探讨一个话题，即通过几种（量化）标准加载本地LLM。通过分片、量化和不同的保存和压缩策略，很难知道哪种方法适合您。在示例中，我们将使用，这是一个经过（DPO）训练的Mistral 7B的精调变体。🔥：在加载LLM的每个示例之后，建议重新启动您的笔记本以防止内存不足错误。加载多个LLM需要大量的RAM/VRAM。您还可以使用跟随操作，以确保一切正常。
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 8284
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
大模型的开发应用（十八）：大模型量化：GPTQ 与 AWQ
weixin_44457930的博客
07-11 1174
前面在介绍QLoRA的时候，我们介绍了 NF4 和 LLM.int8() 量化，这两种量化方式是比较常用的大模型在线量化方式，对于离线量化，目前比较常用的是 GPTQ 和 AWQ。当然，我个人做过对比实现，发现 GPTQ 和 AWQ 效果都不好容易导致模型智商下降，但面试的时候又经常被问到，因此在此对这两种量化方式做个详细的介绍。本文涉及到了比较多的数学推导，读者最好知道多元函数的泰勒泰勒展开、运筹优化的标准数学表达式和 L2 范数的含义，其他像拉格朗日乘数、Cholesky 分解。海森矩阵（Hessian
大语言模型量化方法对比：GPTQ、GGUF、AWQ
张伟的专栏
02-01 5593
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
哪种LLM量化方法最适合您？：GGUF、GPTQ 还是 AWQ
weixin_40358523的博客
07-31 1389
AWQ 实现了出色的量化性能，尤其是对于指令调整的 LM 和多模态 LM。即使对于具有大量参数的模型（例如，GPT 模型中的 1750 亿个参数），GPTQ 也可以实现高精度和高效的量化。GGUF 是一种更高效、更灵活的存储和使用 LLM 进行推理的方法。它经过量身定制，可快速加载和保存模型，并采用用户友好的方法来处理模型文件。总之，AWQ 采用激活感知方法，通过观察激活来保护显着权重，并展示了出色的量化性能，尤其是对于指令调整的 LM。总之，GPTQ 是一种一次性权重量化方法，它利用。
GPTQ 和 AWQ：LLM 量化方法的比较
热门推荐
Archer阿茶
10-14 1万+
量化是将浮点数权重转换为低精度整数的过程，可以显著减少模型的大小和计算复杂度。GPTQ 和 AWQ 是目前最优的 LLM 量化方法之一
【LLM】8：大语言模型的量化（GPTQ、GGUF、AWQ原理）
zzZ_CMing的博客
09-23 5907
GPTQ 通过梯度优化对量化误差进行最小化，适用于后训练阶段的精细量化，精度较高。GGUF 采用全局统一的量化策略，具有简单高效的优点，适用于资源受限的部署场景，但可能导致某些模型层的精度损失。AWQ 关注激活值的量化，通过分析激活值的分布对量化策略进行自适应调整，精度更高但计算复杂度较大。
[大模型]大语言模型量化方法对比：GPTQ、GGUF、AWQ
FL1623863129的博客
04-07 7004
在过去的一年里，大型语言模型(llm)有了飞速的发展，在本文中，我们将探讨几种(量化)的方式，除此以外，还会介绍分片及不同的保存和压缩策略。说明：每次加载LLM示例后，建议清除缓存，以防止出现OutOfMemory错误。如果在jupyter中无法释放显存，请重启这个jupyter notebook。
AWQ和GPTQ量化的区别
Thomas_Cai的记忆殿堂
02-23 2708
DeepSeek模型量化版能节约大量现存，所以要不要用呢？一文给你答案。
INT4 / INT8 横评：GPTQ、AWQ、SmoothQuant 谁才是推理最优解
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-14 1838
当你的模型已经训好，下一步就是压缩部署，但面对 GPTQ、AWQ、SmoothQuant 这三套热门工具方案，选谁最优？怎么选？能不能组合用？ > 本篇不讲概念，只讲实测对比。我们围绕 **推理吞吐、精度损失、显存节省、部署兼容性、社区活跃度** 五个维度，横评这三大 INT4/INT8 主流工具链，帮你快速决策哪种最适合你的业务场景。 > 想量化不踩坑？想用得稳、用得准、跑得快？这篇必须收藏。
AIGC底层技术之大模型量化分析
qq128252的博客
07-15 1784
几乎所有量化方式在8bit 量化无损失​GPTQ 和 AWQ 4bit量化对8B模型来说有1-2%的性能损失，对70B模型只有0.4%性能损失。​参数越大的模型，低bit量化损失越低。​综合来说，如果追求无任何性能损失，8B模型用8bit量化，70B模型用4bit量化；如果能接受2-3%损失，8B模型用4bit量化，70B模型用3bit量化。​这篇论文旨在评估LLAMA3模型在低比特量化（1-8位）下的性能表现，特别是在资源受限的环境中。
GGML、GGUF、GPTQ 都是啥?
kcarly的专栏
02-04 2179
GGML是一种早期的模型格式，主要用于简化模型存储和推理，但因灵活性不足逐渐被GGUF取代。GGUF是GGML的升级版，提供了更高的灵活性和兼容性，适合在不同设备上运行大型语言模型。GPTQ是一种先进的量化技术，专注于GPU优化，能够显著压缩模型大小并提高推理效率。这三种技术和格式各有优缺点，选择时需根据具体需求（如硬件条件、模型大小和性能要求）进行权衡。存储效率：GGUF通过二进制格式和优化的数据结构，在存储效率上优于GGML，加载和保存速度更快。推理效率。
AI大模型量化格式介绍（GPTQ，GGML，GGUF，FP16/INT8/INT4）
疯狂小伟哥的博客
04-18 9438
本文总结了 HuggingFace 上模型的常见量化格式，量化技术是 AI 模型部署的重要技术，它可以大大减小模型的大小和推理所需的显存。想要让大语言模型真正地走进普通人的生活，在每个人的手机上能运行起来，做到真正意义上的“普及”，那么量化技术以后肯定是必不可少的，因此掌握一些量化技术是非常有必要的。关注我，一起学习各种人工智能和 AIGC 新技术，欢迎交流，如果你有什么想问想说的，欢迎在评论区留言。
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 1万+
通过实际代码例子介绍如何进行模型量化
一步一步理解大模型：模型量化技术3 - GPTQ
chattyfish的博客
07-23 6291
之前的后训练方法只能在8位时保持准确，而之前的基于训练的技术只处理了比这小一个到两个数量级的模型。GPTQ可以在大约四个GPU小时内量化具有1750亿参数的GPT模型，将位宽减少到每个权重的3或4位，与未压缩的基线相比，准确性降低可以忽略不计。该方法的压缩增益是以前提出的一次性量化方法的两倍多，保持了准确性，使我们首次能够在单个GPU内执行1750亿参数的模型进行生成推断。GPTQ遵循最先进的后训练量化方法的结构，通过逐层进行量化，为每一层解决相应的重建问题。这一步是为了将量化后的值恢复到原始的值范围。
GPTQ 量化大模型
TuringEvo专栏
05-30 1329
这是因为即使某些权重可能单独引入更多误差，但它们会在流程后期量化，此时剩下的其他权重很少，这可能会增加误差。事实证明，列的最终量化仅受对该列更新的影响，而不会受后续列的影响。因此，GPTQ 可以一次将算法应用于一批列（例如 128 列），仅更新这些列和矩阵的相应块。GPTQ 算法由 Frantar 等人 (2023) 提出，它从 OBQ 方法中汲取灵感，但进行了重大改进，可以将其扩展到（非常）大型的语言模型。对于批次中的每一列，它量化权重，计算误差，并相应地更新块中的权重。然后它循环运行，一次处理一批列。
欺诈文本分类检测（十四）：GPTQ量化模型
golfxiao的专栏
09-11 2136
本文通过gptq方法分别对微调后的模型进行了8位量化和4位量化，并对比了量化前后模型的性能指标差异，8位量化模型的性能指标变化小，而4位量化模型的性能指标变异较大。
本地/笔记本/纯 cpu 部署、使用类 gpt 大模型
我才是一卓的博客
11-21 7757
部分可以看到该模型的不同量化版本、文件大小、预计内存占用、推荐与否。点击具体量化版本的模型即可下载。是 hugging face 社区的一个用户， ta 提供了许多预量化大模型的下载。使用 web UI + 大模型文件，即可在笔记本上部署、使用类 gpt 大模型。在该用户的 model 库中搜索需要的模型，常用关键词是。页面，按上图进行模型加载即可（大概需要几十秒）。页面，即可进行对话。
vllm serve qwen2.5-0.5b-instruct-q4_0.gguf
最新发布
07-31
vLLM官方支持AWQ和GPTQ量化，但对于GGUF格式（即原来的GGML格式）的支持并不直接。 然而，我们可以尝试使用vLLM的`llama.cpp`后端来加载GGUF模型（因为vLLM从0.4.0版本开始实验性支持llama.cpp作为后端）。但请...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

医疗AI强化曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值