基于可训练Step-size的低比特量化——LSQ: Learned Step-size Quantization

已于 2022-02-03 13:59:15 修改
阅读量6.7k 收藏 9
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 深度学习 模型压缩 优化加速 文章标签： 深度学习 量化训练 模型压缩 PyTorch TensorFlow
于 2020-02-12 11:37:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature553863/article/details/104275477
LSQ是一种低比特量化技术，它通过可训练的Step-size进行量化参数调整。该方法在权重和激活上采用Per-tensor量化，并允许Step-size作为可训练变量。实验表明，LSQ在不同量化比特数下都有较好的梯度数值，适用于模型压缩和量化训练。在PyTorch和TensorFlow中均有实现。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper地址：https://arxiv.org/abs/1902.08153

GitHub地址 (PyTorch)：GitHub - zhutmost/lsq-net: Unofficial implementation of LSQ-Net, a neural network quantization framework

基本量化设置

  • 计算结点伪量化：
  1. Weight跟Activation都采用Per-tensor量化；
  2. Scaling factor (Paper标记为Step size)作为量化参数，是可训练变量；
  3. 另外，针对TensorRT、MNN等推理引擎，Weight通常执行Per-channel量化，Activation执行Per-tensor量化；为了加快量化训练收敛，Activation的量化参数（可训练）可借助KL量化、或PyTorch observer量化予以初始化，Weight的量化参数则根据absmax方法在线更新；

最低0.47元/天 解锁文章

新学期VIP享超值加赠
极智AI | 谈谈几种量化感知训练算法
极智视界
10-12 497
大家好，我是极智视界，本文来介绍一下 谈谈几种量化感知训练算法
量化训练之可微量化参数—LSQ
AI小男孩的专栏
04-01 3810
论文解读：LEARNED STEP SIZE QUANTIZATION
论文阅读——LSQ:Learned Step Size Quantization
qq_37151108的博客
09-18 6229
LSQ:基于可训练Step_size的低比特量化 from IBM Research Abstract 神经网络以低精度在运行推理时具有低功耗和更易于存储的优势，但却牺牲了精度，因此本文就致力于解决这一问题。本文提出的LSQ量化方案应用在不同架构时，在ImageNet数据集上均达到了SOTA，其中权重和激活值量化到了2、3、4bit，以及量化位数为3bit时达到了全精度模型的精度。LSQ在现有的学习权重量化的基础上改进了量化器（quantizer)本身的配置方式;值得一提的是引入了一种新的梯度损失，用于估计
低比特训练的逻辑
最新发布
DuHz的博客
06-01 673
**摘要：低比特训练通过量化技术减少深度学习模型的存储与计算需求，其数学本质是将连续参数映射到离散空间。核心挑战是量化函数的梯度计算问题，直通估计器(STE)通过引入代理梯度解决这一难题。混合精度训练则根据计算需求动态调整精度，在保持模型性能的同时优化资源使用。这些技术基于信息论和数值分析的理论基础，为大规模神经网络的高效训练提供了可行性方案。
LSQ量化方法
sunnygirl's house
08-07 634
https://www.pianshen.com/article/35851937192/ https://www.pianshen.com/article/10651233148/
Paper Reading||Learned Step Size Quantization
Mr_Menace的博客
09-29 814
早期量化器的参数都是固定的。固定映射方案虽然简单、具有吸引力，但它不能保证优化网络性能。量化误差最小化方案可能会完美地最小化量化误差，但如果不同的量化映射实际上没有最小化任务误差，则仍然不是最佳的。QAT量化如何以最佳方式最大化任务性能，仍然是一个悬而未决的问题。
LSQ:LEARNED STEP SIZE QUANTIZATION论文学习
qq_31993233的博客
04-08 1517
论文链接 摘要 在推理时运行低精度操作的深度网络具有功率和空间优势，但需要克服在精度降低时保持高精度的挑战。在这里，我们提出一种方法来训练这样的网络，学习步长量化，达到最高的精度AmageNet数据集当使用模型，从各种架构，权重和激活量化2,3或4位的精度，可以训练3位模型达到完全精度基线精度。我们的方法建立在现有的在量化网络中学习权重的方法的基础上，通过改进量化器本身的配置方式。具体来说，我们引入了一种新的方法来估计和缩放在每个权重和激活层的量化器步长下的任务损失梯度，这样它就可以与其他网络参数一起学习。
重训练量化·可微量化参数
hey-yahei
09-23 815
原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-retrain_differentiable 欢迎引用&转载，但烦请注明出处~ 在传统的QAT中，训练的只有权重，而量化参数是根据权重的分布所确定的。有研究者就想，为什么不把量化参数也作为训练对象呢？既然量化参数是可训练的，那么它能被求导，也就是可微的，所以我们可以称这类方法为“可微量化参数”。 PACT 论文：《PACT: Parameterized Clipping Activatio
量化感知训练实践：实现精度无损的模型压缩和推理加速
阿里云云栖号
12-24 3105
简介：本文以近期流行的YOLOX[8]目标检测模型为例，介绍量化感知训练的原理流程，讨论如何实现精度无损的实践经验，并展示了量化后的模型能够做到精度不低于原始浮点模型，模型压缩4X、推理加速最高2.3X的优化效果。 1. 概述 对深度学习模型进行低比特量化，可以有效地降低模型部署时在存储、计算、通信上的开销，是一种常见的模型压缩和推理优化技术。然而，模型量化在实际应用中仍然存在不少挑战，最为常见的问题就是模型精度下降（如无特殊说明，本文中“模型精度”是指准确率等模型应用于具体任务的效果指标）。以计算机视
【量化】——LSQ算法原理理解
怡宝2号
08-07 6624
LSQ中tensor的量化过程和伪量化一样，而其核心：scale不是通过tensor计算而来，而是将其作为一个可学习参数，通过训练得来
论文阅读-LEARNED STEP SIZE QUANTIZATION
qq_40268672的博客
10-15 1989
一.Title LEARNED STEP SIZE QUANTIZATION 二.Abstract&Introduction why? 近年来，神经网络作为一种许多革命性技术的组成部分开始崭露头角，比如图像识别、语音识别以及自动驾驶等。但是，要利用好这一技术并大规模应用需要开发者有一个系统性的视角，即要兼顾网络的性能、吞吐率、能效以及紧凑程度。现在很多研究者都致力于在保持网络精度的同时，用低精度的数据去表示权重和激活，这种方法使得模型的大小以及计算量大大降低。因此，如何在降低精度的同时尽可能保持网络
量化感知训练——LSQ(一：原理)
weixin_42841721的博客
03-03 3735
模型量化知识总结
【模型量化】——LSQ-Net: Learned Step Size Quantization论文
怡宝2号
03-05 966
亮点:ICLR2020 论文:https://arxiv.org/pdf/1902.08153.pdf code：非官方实现 摘要 在推理时以低精度操作运行的深层网络具有比高精度替代方案更强大的功耗和空间优势，但是需要克服随着精度降低而保持高精度的挑战。在这里，我们提出了一种用于训练此类网络的方法，即“学习步长量化”，该方法可以在使用模型时在ImageNet数据集上实现迄今为止最高的准确性。各种架构，权重和激活量化为2位，3位或4位精度，并且可以训练达到完全精度基准精度的3位模型。我们的方法建立在现有方.
LEARNED STEP SIZE QUANTIZATION论文复现
qq_40268672的博客
10-15 607
import torch.nn as nn import torch.nn.functional as F from torch.autograd import Function class Round(Function): @staticmethod def forward(self, input): output = torch.round(input) return output @staticmethod def backward
神经网络低比特量化——LSQ
u012347027的博客
08-08 3003
神经网络低比特量化——LSQ摘要方法量化计算公式STEP SIZE GRADIENTSTEP SIZE GRADIENT SCALE直通估计器实验结果Weight DecayImageNetAccuracy VS. Model Size消融实验Step Size Gradient Scale Impact添加知识蒸馏提高精度 本文为IBM的量化工作，发表在ICLR 2020。论文题目：Learned Step Size Quantization。为了解决量化精度越低，模型识别率越低的问题，本文引入了一种新
量化感知训练 —— LSQ（二：代码解析）
weixin_42841721的博客
03-10 1746
至此，我们实现了伪量化算子，伪量化算子中利用伪量化方法进行参数伪量化，之后又定义了伪量化的类来实现伪量化方法。之后需要做的是，就是把原模型中的各个算子，替换成这里定义好的对应的伪量化算子，这样我们就可以实现一个插入LSQ伪量化节点的模型了，然后利用这个模型进行正常的训练，就可以进行LSQ量化感知训练了。在这个伪量化算子中，其中还有伪量化方法需要作为输入传入进行初始化的，而具体的伪量化，以及需要学习的量化参数的更新方法，则通过伪量化方法实现。对于其他的算子，比如nn.Linear，则使用类似的定义实现。
LSQ- 原理简单介绍 + 代码实现
niudaniuworking的博客
08-16 2351
假设 量化数据v -> v^【0，3】下图表示量化前的 v 和反量化后的 v^之间的映射关系，(假设 s = 1，这里面 round 采用四舍五入的原则，则在 0.5 这个地方 (图中第一道虚线)是会从 0 突变到 1 的，从而带来巨大的量化误差。将FLOAT32（32位浮点数）的参数量化到更低精度，精度的变化并不是简单的强制类型转换，而是为不同精度数据之间建立一种数据映射关系，最常见的就是定点与浮点之间的映射关系，使得以较小的精度损失代价得到较好的收益。与其他的量化训练不同的是，
模型压缩之量化入门笔记||量化基本公式的理解||量化过程可视化||LSQ公式理解
Mr_Menace的博客
08-20 3534
本人初入模型量化的坑，对量化的一些过程还不是很理解，于是做了一些可视化的小实验，来帮助更好地理解公式。
模型量化——基础知识 & LSQ论文阅读
小小顺利的博客
01-28 2653
感谢陈老师给的机会，有幸能够参加2020年的DAC比赛。我在其中负责目标检测器的调试和量化。自己第一次接触量化这个任务，很多东西都是一点一点学。 一、量化基础 对于一个全精度的值vvv，若量化步长为sss（也可理解为量化分辨率），正负量化层级（quantization levels ）分别为QPQ_{P}QP​和QNQ_{N}QN​。则量化过程为：vˉ=Int(clip(v/s,−QN,QP))\...
bounded-lsq: 探索有界最小二乘优化的算法实现
在给定的文件信息中，涉及到了一个名为“bounded-lsq”的存储库，该存储库中的算法是为Python的科学计算库scipy所准备的，并且是2015年Google Summer of Code（GSoC）项目的一部分。下面将详细介绍相关知识点。 ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值