模型量化——基础知识 & LSQ论文阅读

最新推荐文章于 2025-06-24 10:22:42 发布
原创 最新推荐文章于 2025-06-24 10:22:42 发布 · 2.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了量化技术的基础原理，包括量化步长、正负量化层级等概念，并详细解析了IBM提出的LSQ论文，该论文介绍了一种基于均匀量化的方法，使网络能够自我调整量化步长。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  感谢陈老师给的机会，有幸能够参加2020年的DAC比赛。我在其中负责目标检测器的调试和量化。自己第一次接触量化这个任务，很多东西都是一点一点学。

一、量化基础

  对于一个全精度的值vvv，若量化步长为sss（也可理解为量化分辨率），正负量化层级（quantization levels ）分别为QPQ_{P}QP​和QNQ_{N}QN​。则量化过程为：vˉ=Int(clip(v/s,−QN,QP))\bar{v}=Int(clip(v/s,-Q_{N},Q_{P}))vˉ=Int(clip(v/s,−QN​,QP​))  其中的v/sv/sv/s将全精度值映射到了比特空间，进行端侧修剪之后，返回最近距离的整数。若使用bbb表示量化位数，对于Activations对应的无符号数，有QN=0,QP=2b−1Q_{N}=0,Q_{P}=2^b-1QN​=0,QP​=2b−1；对于Weights对应的有符号数，有QN=2b−1,QP=2b−1−1Q_{N}=2^{b-1},Q_{P}=2^{b-1}-1QN​=2b−1,QP​=2b−1−1（正侧缺1项）。
  解量化操作为：v^=vˉ×s\hat{v}=\bar{v}\times sv^=vˉ×s  量化&运算过程如下图所示：
在这里插入图片描述

二、LSQ论文简介

  这篇论文是IBM在2019年的ArXiv上放出来的论文，全名Learned Step Size Quantization。大概思想就是基于均匀量化，让网络自己去寻找每一层合适的量化步长sss。所以最核心的问题就是如何设定步长关于损失值L的梯度。
  文中给出了解量化值v^\hat{v}v^关于sss的偏导的定义：
在这里插入图片描述

【论文阅读】SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT co
zoetu
12-05 271
SensiMix: Sensitivity-Aware 8-bit index & 1-bit value mixed precision quantization for BERT compression
模型量化论文阅读#4----EWGS:Network Quantization with Element-wise Gradient Scaling
羊藤枝的博客
06-29 1369
在量化中，因为量化函数是不可微分的，所以一旦涉及到量化函数的反向传播时，就需要对量化函数的梯度进行近似，目前常用的近似是STE，从而避免量化函数的零梯度问题。所谓STE就是一个直通器，它只是传播相同的梯度而不考虑量化函数的输入和输出之间的离散误差。这篇论文就针对STE的缺点提出了一种元素级的梯度放缩算法，叫做EWGS。给定量化函数量化输出的梯度，EWGS自适应地放大或缩小每个梯度元素，并使用缩放后的梯度作为量化函数输入的梯度，通过反向传播来训练量化的网络。缩放是根据每个梯度元素的符号和量化函数的连续输入和离
模型量化论文阅读#1----综述：A Survey of Quantization Methods for Efficient Neural Network Inference
羊藤枝的博客
05-20 6380
1. 量化的基本概念 A. 问题设置和符号表示 假设网络有L层，其每层的参数表示为：{W1,W2,…,WL}\left\{W_{1}, W_{2}, \ldots, W_{L}\right\}{W1​,W2​,…,WL​}，用θ\thetaθ表示所有参数的集合，以监督学习问题为例，其目标函数为： L(θ)=1N∑i=1Nl(xi,yi;θ)（1） \mathcal{L}(\theta)=\frac{1}{N} \sum_{i=1}^{N} l\left(x_{i}, y_{i} ; \theta\right
模型量化论文阅读#2----BRECQ: PUSHING THE LIMIT OF POST-TRAINING QUANTIZATION BY BLOCK RECONSTRUCTION
羊藤枝的博客
05-20 5345
1. 相关基础 量化基础知识 在量化中，一个比较重要的概念是量化函数q(⋅)q(\cdot)q(⋅)，即如何从一个浮点数值映射到具有特定宽度的量化值，即: q(⋅):R→Qbu,sym q(\cdot): \mathcal{R} \rightarrow \mathcal{Q}_{b}^{\text {u,sym }}q(⋅):R→Qbu,sym ​. 一般比较常用的量化函数是四舍五入函数，当前很多量化算法使用的是这个函数，比如PACT等。 一般量化问题可以表示为下述的优化目标函数： mi
初学者入门大模型必备基础知识：量化、剪枝、KV cache，新手小白也能看懂！
最新发布
EnjoyEDU的博客
06-24 976
在科技飞速发展的当下，大模型已然成为 AI 领域的璀璨明星。从智能客服快速响应我们的咨询，到智能写作助手妙笔生花般地创作文章，大模型的身影无处不在。然而，随着大模型规模和复杂度的持续攀升，一个棘手的问题摆在了我们面前：如何在有限的资源条件下，让大模型的推理又快又好？就好比一辆超级跑车，性能虽强，但如果油耗巨大，对路况要求极高，也难以广泛驰骋。专业总结来说，大模型的推理希望有更高的吞吐、更快的响应（更低的RT），从而让大模型应用控制在性价比较高的水平。
LSQ:LEARNED STEP SIZE QUANTIZATION论文学习
qq_31993233的博客
04-08 1517
论文链接 摘要 在推理时运行低精度操作的深度网络具有功率和空间优势，但需要克服在精度降低时保持高精度的挑战。在这里，我们提出一种方法来训练这样的网络，学习步长量化，达到最高的精度AmageNet数据集当使用模型，从各种架构，权重和激活量化2,3或4位的精度，可以训练3位模型达到完全精度基线精度。我们的方法建立在现有的在量化网络中学习权重的方法的基础上，通过改进量化器本身的配置方式。具体来说，我们引入了一种新的方法来估计和缩放在每个权重和激活层的量化器步长下的任务损失梯度，这样它就可以与其他网络参数一起学习。
模型量化I—基础概念
牧羊女
02-01 1093
模型量化基础及模型量化的分类
【模型量化】——LSQ-Net: Learned Step Size Quantization论文
怡宝2号
03-05 966
亮点:ICLR2020 论文:https://arxiv.org/pdf/1902.08153.pdf code：非官方实现 摘要 在推理时以低精度操作运行的深层网络具有比高精度替代方案更强大的功耗和空间优势，但是需要克服随着精度降低而保持高精度的挑战。在这里，我们提出了一种用于训练此类网络的方法，即“学习步长量化”，该方法可以在使用模型时在ImageNet数据集上实现迄今为止最高的准确性。各种架构，权重和激活量化为2位，3位或4位精度，并且可以训练达到完全精度基准精度的3位模型。我们的方法建立在现有方.
基于可训练Step-size的低比特量化——LSQ: Learned Step-size Quantization
AI Flash
02-12 6715
Paper地址：https://arxiv.org/abs/1902.08153 GitHub地址 (PyTorch)：https://github.com/zhutmost/lsq-net 基本量化设置 计算结点伪量化： Weight跟Activation都采用Per-tensor量化； Scaling factor (Paper标记为Step size)是可学习参数； 量化计算公式...
模型压缩——量化
填坑
11-14 2500
量化基本知识
量化训练之可微量化参数—LSQ
AI小男孩的专栏
04-01 3810
论文解读：LEARNED STEP SIZE QUANTIZATION
量化及定点化模型压缩常见方法、特定及优缺点整理
lqfarmer的博客
02-07 605
模型压缩简答说就是将庞大的深度学习模型进行压缩，常见方法包括五大类，分别是剪枝、量化、正则化、知识蒸馏、条件计算。 量化是模型压缩常用方法之一，本文不完全包括了一些神经网络Fixed-Point Training（定点化训练）相关的方法进行了详细整理，拆分，并对优缺点进行了对比分析。 资源整理自网络，资源获取见源地址：https://github.com/A-suozhang/awesome-quantization-and-fixed-point-training ...
模型量化基本概念介绍
生活需要深度
02-21 3514
这些年来，深度学习在众多领域亮眼的表现使其成为了如今机器学习的主流方向，但其巨大的计算量仍为人诟病。近几年，业界涌现出越来越多基于深度神经网络的端侧上的智能应用。而对于端上产品而言，深度神经网络巨大计算量是非常大的挑战。为了弥补端侧智能应用的算力需求与端侧的算力能力的鸿沟，近几年来模型压缩成为了业界的热点之一。而模型量化属于非常实用的模型压缩技术，并且当前已经在工业界发展非常成熟。模型量化所处位置。
神经网络模型量化论文小结
热门推荐
u012101561的博客
07-22 2万+
现在“边缘计算”越来越重要，真正能落地的算法才是有竞争力的算法。随着卷积神经网络模型堆叠的层数越来越多，网络模型的权重参数数量也随之增长，专用硬件平台可以很好的解决计算与存储的双重需求，但目前还不成熟，存在些亟待解决的问题，没能大规模商用。对模型进行参数量化的主要目的是减小模型存储体积，加速运算，能够将算法应用在通用的嵌入式移动平台。陆陆续续阅读了关于模型量化的论文，通过这篇博客做一个...
模型量化基础概念温习
weixin_42638415的博客
08-23 2903
min-max对于离群值敏感，效果差，其他校准的策略来说，相对简单效果更好的有：KL散度（KL divergence）：最小化量化后int8与float32数据的KL散度，tensorrt采用这个策略。这个敏感度判别采用最直接简单的方法：每次只量化一层跑一遍，看模型效果的影响，影响大的就更敏感，反之就不敏感。为了保证一致性，我们需要在激活之后再进行量化，并且可以使用激活融合的方式。简单节省内存，虽然现在每个通道的权重量化越来越普遍，但并不是所有的商业硬件都是支持的，因此，重要的是需要检查硬件设备是否支持。
论文阅读——LSQ:Learned Step Size Quantization
qq_37151108的博客
09-18 6229
LSQ:基于可训练Step_size的低比特量化 from IBM Research Abstract 神经网络以低精度在运行推理时具有低功耗和更易于存储的优势，但却牺牲了精度，因此本文就致力于解决这一问题。本文提出的LSQ量化方案应用在不同架构时，在ImageNet数据集上均达到了SOTA，其中权重和激活值量化到了2、3、4bit，以及量化位数为3bit时达到了全精度模型的精度。LSQ在现有的学习权重量化的基础上改进了量化器（quantizer)本身的配置方式;值得一提的是引入了一种新的梯度损失，用于估计
模型压缩-量化-论文阅读-Differentiable Soft Quantization
好记性不如烂笔头
03-18 2792
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks pytorch 实现 https://github.com/ricky40403/DSQ 亮点 使用tanh函数拟合量化函数，解决量化函数不可导的问题， framework 图中是一个2bit量化的例子，量化函数原本是一个4段...
A Comprehensive Evaluation of Quantization Strategies for Large Language Models全面评估大型语言模型的量化策略论文阅读
m0_67450301的博客
03-18 1585
A Comprehensive Evaluation of Quantization Strategies for Large Language Models全面评估大型语言模型的量化策略论文阅读——————大模型量化的一个小综述
量化感知训练 —— LSQ（二：代码解析）
weixin_42841721的博客
03-10 1747
至此，我们实现了伪量化算子，伪量化算子中利用伪量化方法进行参数伪量化，之后又定义了伪量化的类来实现伪量化方法。之后需要做的是，就是把原模型中的各个算子，替换成这里定义好的对应的伪量化算子，这样我们就可以实现一个插入LSQ伪量化节点的模型了，然后利用这个模型进行正常的训练，就可以进行LSQ量化感知训练了。在这个伪量化算子中，其中还有伪量化方法需要作为输入传入进行初始化的，而具体的伪量化，以及需要学习的量化参数的更新方法，则通过伪量化方法实现。对于其他的算子，比如nn.Linear，则使用类似的定义实现。
神经网络模型压缩之量化神经网络模型压缩之量化
06-23
3. **量化感知训练**（Quantization-aware training）：在预训练模型的基础上，通过特定的训练算法，让模型能够学习适应量化带来的误差，提高量化后的性能。 4. **后处理**：可能包括去量化、量化误差校正等步骤，以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值