【大模型量化】AWQ 量化和 INT8 量化的区别是什么？

最新推荐文章于 2025-06-11 21:30:00 发布
最新推荐文章于 2025-06-11 21:30:00 发布
阅读量2.6k 收藏 23
点赞数 30
CC 4.0 BY-SA版权
分类专栏： 大模型 基础知识 文章标签： 人工智能 大模型 量化
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014386899/article/details/141167752

1. INT8 量化原理

INT8 量化（8位整数量化）是一种深度学习模型优化技术，通过将模型中的浮点数权重和激活值转换为8位整数，从而减少计算和存储需求。INT8 量化主要用于提升推理速度和降低内存带宽需求。以下是 INT8 量化的核心原理和步骤：

1. 量化概述

量化将浮点数（通常为32位浮点数）转换为较低位数（如8位整数），以减少模型的存储空间和计算量。在 INT8 量化中，浮点数被映射到0到255之间的8位整数。

2. 量化过程

2.1 确定量化范围

  • 范围计算：首先确定要量化的浮点数的范围。这通常包括权重和激活值的最小值和最大值。可以通过统计数据来计算这些范围。

  • 缩放因子：根据范围计算缩放因子（scale factor）。缩放因子是将浮点值转换为整数的比例因子，计算方式为：
    scale=max_float−min_float2n−1 \text{scale} = \frac{\text{max\_float} - \text{min\_float}}{2^{n} - 1} scale=2n−1max_float−min_float​
    其中，max_float 和 min_float 分别是浮点数的最大值和最小值，n 是量化位数（在 INT8 中，n = 8）。

  • 零点偏移：计算零点（zero-point），它是量化后的整数值0所对应的浮点值。零点用于将浮点数的负值正确映射到整数范围。计算公式为：
    zero_point=round(−min_floatscale) \text{zero\_point} = \text{round}\left(\frac{-\text{min\_float}}{\text{scale}}\right) zero_point

最低0.47元/天 解锁文章

200万优质内容无限畅学
大模型LLM 在线量化；GPTQ\AWQ量化及推理
weixin_42357472的博客
11-19 2314
参考:https://github.com/casper-hansen/AutoAWQ/blob/87350fefb9081dadec111cea9b315d009d877a87/examples/quant_custom_data.py。参考：https://vllm.readthedocs.io/en/latest/quantization/auto_awq.html。参考：https://github.com/vllm-project/vllm/issues/1538。应该是vllm暂时还不支持。
开源模型应用落地-模型量化-AWQ vs GPTQ（三）
热门推荐
以微薄之力，予他人些许温暖.
05-18 2万+
理解AWQ和GPTQ模型量化技术的差异
「大模型学习」(10)LLM的量化（GPTQ、LLM.int8()、AWQ）不信你学不会！
最新发布
qq_43044037的博客
06-11 1095
本文介绍了神经网络模型量化技术及其应用。量化通过降低模型精度（如INT8/INT4）来减少存储和计算开销，提升推理速度。量化对模型精度影响较小的原因包括权重归一化、激活函数平滑误差以及分类任务对绝对值不敏感。文中对比了两种量化方法：PTQ（后训练量化）和QAT（量化感知训练），重点讲解了PTQ的四种代表性方法：ZeroQuant（块级重构与混合精度量化）、LLM.int8()（混合精度处理激活离群值）、SmoothQuant（通过缩放因子平衡数值范围）以及GPTQ（基于OBQ的逐层误差优化）。这些技术为大模
大语言模型量化方法对比：GPTQ、GGUF、AWQ 包括显存和速度
05-15 7992
AWQ(激活感知权重量化)，它是一种类似于GPTQ的量化方法。所以他们的论文提到了与GPTQ相比的可以由显著加速，同时保持了相似的，有时甚至更好的性能。GGUF(以前称为GGML)是一种量化方法，允许用户使用CPU来运行LLM，但也可以将其某些层加载到GPU以提高速度。虽然使用CPU进行推理通常比使用GPU慢，但对于那些在CPU或苹果设备上运行模型的人来说，这是一种非常好的格式。GPTQ是一种4位量化的训练后量化(PTQ)方法，主要关注GPU推理和性能。
EfficientAI Lab： 大模型AWQ量化
qq_19859865的博客
12-04 2749
AWQ（Activation-aware Weight Quantization）的核心是基于通道级别的尺度缩放（channel-wise scaling），来保护显著权重。而值得注意的是，是通过观察“activation”，而不是权重，来选择缩放的大小。此外，该方法不需要进行反向传播和重构，部署容易。左图表达Round-to-nearest方法的策略和效果，PPL非常高（不好）；中间的图表示作者的key observation，那就是保留一部分权重；
深度解析：大模型量化技术原理——AWQ与AutoAWQ
2401_84495872的博客
08-31 3186
本文简要介绍了诞生的AWQ背景和技术原理，同时以AutoAWQ为例进行了简单的说明。
大模型量化技术实践指南：GPTQ、AWQ、BitsandBytes 和 Unsloth
python12222_的博客
03-08 898
它在减少 LLM 的模型大小和推理成本方面非常有效。例如，当我们将一个大约。
大模型量化之AWQ原理和应用
TFATS的博客
02-08 2380
AWQ（Activation-aware Weight Quantization）量化是一种基于激活值分布(activation distribution)挑选显著权重(salient weight)进行量化的方法，其不依赖于任何反向传播或重建，因此可以很好地保持LLM在不同领域和模式上的泛化能力，而不会过拟合到校准集，属训练后量化(Post-Training Quantization, PTQ)大类。
大模型量化
asd8705的专栏
01-23 5552
大模型量化技术通过减少模型参数的精度，显著降低了模型的存储和计算需求，同时尽量保持模型性能。不同的量化方法（如PTQ、QAT、QAF）和量化粒度（如逐层、逐通道）可以根据具体需求选择，以实现模型的高效部署。AWQ（Activation-aware Weight Quantization）和AutoAWQ是基于激活感知的权重量化技术，主要用于在不显著损失精度的情况下，将大型语言模型（LLM）的权重压缩到低比特（如4位），以加速推理并减少内存占用。llama.cpp。
模型量化-int8量化
顺其自然~专栏
09-27 1274
在深度学习模型中，通常使用32位浮点数（FP32）来表示权重和激活值。然而，FP32的存储需求和计算复杂性较高，特别是在边缘设备和嵌入式系统等资源有限的环境中运行时，会造成显著的性能瓶颈。INT8量化通过将这些浮点数值量化为8位整数，可以大幅度地减少模型的存储空间和内存带宽，并加速模型的推理过程。
LLM 推理量化评估：FP8、INT8 与 INT4 的全面对比
m0_59235699的博客
12-05 4487
尽管 LLM 量化在推理加速方面非常流行，但各种量化格式的准确性-性能之间的权衡仍然存在很大的不确定性。本文中，作者对量化准确度进行了全面的研究，评估了整个 LLaMA-3.1 系列模型在学术基准和现实任务中的常见量化格式（FP8、INT8、INT4）。此外，作者还研究考察了量化模型与未量化模型生成的文本之间的差异。除了基准之外，作者还提出了一些量化改进，使得能够获得最先进的准确度结果。
INT4 / INT8 横评：GPTQ、AWQ、SmoothQuant 谁才是推理最优解
努力分享一些人工智能、计算机视觉、影像等相关的知识干货！
04-14 1739
当你的模型已经训好，下一步就是压缩部署，但面对 GPTQ、AWQ、SmoothQuant 这三套热门工具方案，选谁最优？怎么选？能不能组合用？ > 本篇不讲概念，只讲实测对比。我们围绕 **推理吞吐、精度损失、显存节省、部署兼容性、社区活跃度** 五个维度，横评这三大 INT4/INT8 主流工具链，帮你快速决策哪种最适合你的业务场景。 > 想量化不踩坑？想用得稳、用得准、跑得快？这篇必须收藏。
模型量化之AWQ和GPTQ
qiaotl的博客
12-26 1万+
通过实际代码例子介绍如何进行模型量化
AWQ模型量化实践
LuchangLi 的专栏
06-28 1万+
AWQ模型量化实践
AWQ量化技术详解
青蛙博客
03-20 1806
AWQ（Activation-aware Weight Quantization）是一种面向大模型的硬件友好型量化技术。它通过分析激活值分布来识别关键权重通道，对这些关键通道保留高精度（如FP16），而将其他权重量化为低比特整数（如INT3/INT4），从而实现模型的压缩与加速。其核心目标是在减少显存占用和计算开销的同时，最大限度地保留模型性能。
AWQ介绍，构思 - PTQ简史(二)
EnsDoflamingo的博客
04-29 1657
AWQ基于激活值保留量化模型, 绕开了校准数据等PTQ模型量化诸多问题。并且在速度和性能上AWQ也取得了更多的进步，比如量化模型的内核聚合，SIMD-CPU高效利用等。尽管AWQ取得了必要的成功，然而关于AWQ性能实验的充分性，仍然值得更深层次的探索。
深度解析：大模型量化技术原理——LLM.int8()与GPTQ
2401_84206094的博客
09-03 1155
本文简要介绍了两种比较常用的大模型量化方法 GPTQ、LLM.int8()；LLM.int8() 属于 round-to-nearest (RTN) 量化：舍入到最近的定点数。而 GPT-Q 则是把量化问题视作优化问题，逐层寻找最优的量化权重。目前，这两种量化方法也集成到了Transformers库中，大家可以非常方便的使用。
模型量化awq
03-27
### AWQ 模型量化实现方法介绍 #### 什么是AWQ？ AWQ（Activation-aware Weight Quantization）是一种针对权重的激活感知量化方法，旨在通过减少模型参数存储需求和计算复杂度来优化大语言模型的部署效率。它特别适用于大规模预训练模型的推理阶段，在保持较高精度的同时降低硬件资源消耗。 #### AWQ的核心原理 AWQ的主要特点是引入了一种启发式的策略来调整量化过程中的`scale`和`clip`系数。这些系数用于控制权重分布的变化范围以及如何将其映射到较低位宽表示形式上[^3]。具体来说： - **Scale Coefficient**: 调整权重值的比例因子。 - **Clip Thresholds**: 定义截断阈值以限制超出范围的数据点影响最终结果。 这种方法能够有效缓解传统均匀量化的误差累积问题，并且无需额外微调即可达到较好的性能表现。 #### 技术细节与流程说明 以下是AWQ的具体实施步骤及其涉及的关键组件: 1. **统计分析** 对每一层神经网络权重视图进行直方图统计, 计算得到合适的剪枝比例作为初始输入给后续操作使用. 2. **确定最优参数组合** 基于上述统计数据运用特定算法(如网格搜索或者进化学习), 寻找能使目标函数最小化的一组候选解集合{S,C},其中 S 表示 scale 参数向量而 C 则代表 clip 阈值矩阵. 3. **执行实际转换动作** 将原始浮点数类型的张量按照选定好的规则变换成为固定长度编码格式下的近似版本; 同时保留必要的元信息以便反演还原原状结构供进一步处理利用. 4. **验证效果并迭代改进** 使用测试集评估经过前述处理后的简化版LLM的表现水平, 如果发现差距过大则返回重新修改设定直至满足预期为止. ```python import torch def awq_quantize(weight_tensor, bits=8): """ Apply Activation-Aware Weight Quantization (AWQ) to the given weight tensor Args: weight_tensor (torch.Tensor): Original floating-point weights of shape [out_features, in_features]. bits (int): Number of bits used for quantized representation Returns: Tuple[torch.Tensor, dict]: A tuple containing the quantized weights and metadata required for dequantization. """ # Step 1: Compute statistics about activation distributions across layers... max_val = torch.max(torch.abs(weight_tensor)) min_val = -max_val qrange = 2**(bits - 1) scales = max_val / qrange zero_points = -(min_val * qrange).round() / scales scaled_weights = weight_tensor / scales.unsqueeze(-1) clipped_weights = torch.clamp(scaled_weights.round(), -qrange, qrange-1) return clipped_weights.int().type(torch.int8), {"scales": scales, "zero_points": zero_points} # Example Usage original_weight = torch.randn((512, 768)) # Simulated full precision model parameters quantized_weight, meta_info = awq_quantize(original_weight) print(f"Original Size: {original_weight.element_size()*original_weight.numel()} bytes") print(f"Quantized Size: {quantized_weight.element_size()*quantized_weight.numel()} bytes") ``` 以上代码片段展示了如何基于PyTorch框架简单模拟一次AWQ的过程。需要注意的是这只是一个基础示范程序，真实场景下还需要考虑更多因素比如不同架构间的差异性适配等问题。 --- #### 性能对比与其他方案的区别 相比于其他几种主流的大规模语言模型压缩技术,GPTQ主要依赖于post-training fine-tuning机制从而获取更精确的结果；然而其代价便是增加了不少运算负担因为每次都需要单独跑一遍完整的前向传播路径来进行梯度更新操作[^2]. 反观AWQ则是完全无监督的方式完成整个任务流因此更加高效快捷同时也更容易被广泛采纳推广开来. 尽管如此,OminiQuant作为一种新兴替代品正在逐渐崭露头角——凭借机器学习驱动的优势成功超越前者取得了更好的实验成绩不过目前仍处于研究探索初期尚未形成成熟稳定的产品形态可供大众随意选用. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值