LLM.int8()——自适应混合精度量化方法

已于 2022-12-04 21:55:54 修改
阅读量3.4k 收藏 6
点赞数 2
CC 4.0 BY-SA版权
分类专栏： Transformer 自然语言处理 模型压缩 文章标签： 深度学习 人工智能 模型压缩 模型量化 混合精度量化
于 2022-12-04 21:51:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature553863/article/details/128177323
本文介绍了一种自适应混合精度量化方法LLM.int8，结合Vector-wise量化和混合精度分解，针对大模型如GPT-3和OPT-175B，有效处理权重和特征的高维度以及异常值问题，提高量化精度并降低推理延迟和资源消耗。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Paper地址：https://arxiv.org/abs/2208.07339

GitHub链接：GitHub - TimDettmers/bitsandbytes: 8-bit CUDA functions for PyTorch

随着模型参数规模的增加，大模型（如GPT-3，OPT-175B等NLP稠密大模型）的实际部署应用，需要消耗一定的计算/存储资源，且推理响应延迟存在限制，例如：基于Triton的分布式并行推理，OPT-175B部署在8张A100设备上时，推理延迟约400ms（Batch size=1）。

模型量化是实现模型压缩与推理加速的常用技术手段，但由于大模型本身巨大的参数规模，首先权重矩阵与特征张量的维度都很高，对权重与特征都直接采用Per-tensor量化会造成较大的估计失偏，无法较好还原实际的数据分布。其次，异常值（Outliers）对模型量化后的预测精度也会造成很大影响，当NLP稠密大模型的参数规模在6.7B时，尽管异常值的占比仅占0.1%，但将这些异常值都置零，会直接

最低0.47元/天 解锁文章

新学期VIP享超值加赠
巨型语言模型的 8 位量化：LLM.int8()
步子哥的博客
06-12 912
大型语言模型（LLM）在自然语言处理领域取得了巨大成功，但其推理过程需要大量的 GPU 内存。本文将介绍一种针对 Transformer 架构中前馈层和注意力投影层的 8 位矩阵乘法方法，该方法可以将推理所需的内存减半，同时保持与全精度模型相同的性能。
bitsandbytes 是 CUDA 自定义函数的轻量级包装器，特别是 8 位优化器、矩阵乘法 (LLM.int8()) 和量化函数。
强化学习曾小健
07-04 3194
对于 NLP 模型，我们还建议使用 StableEmbedding 层（见下文），这可以改善结果并有助于稳定的 8 位优化。请注意，默认情况下，所有少于 4096 个元素的参数张量都保持为 32 位，即使您使用 8 位优化器初始化这些参数也是如此。这样做是因为这样小的张量不会节省太多内存，并且通常包含高度可变的参数（偏差）或需要高精度的参数（批量规范、层规范）。为此，我们需要做两件事：(1) 在参数仍在 CPU 上时注册参数，(2) 使用新的所需超参数覆盖配置（随时随地）。如果这些不起作用，请参阅下文。
大模型训练之计算量和内存优化篇------混合精度/量化QAT、QAF、PTQ/剪枝/知识蒸馏/FSDP&cpu offload/Gradient Checkpointing
weixin_36378508的博客
05-24 5271
大模型训练显存和计算量优化
模型量化实战：INT8量化的5个精度损失点（模型优化丨模型训练丨人工智能丨机器学习）
2501_91798322的博客
06-03 1031
① 深度可分离卷积适配深度卷积的权重维度为 ( (K, K, C, 1) )，INT8量化时易因通道间差异导致部分通道失效。MobileNetV3的深度卷积层量化后，约23%的通道输出均值为0，形成“死通道”。② 注意力机制量化Transformer的注意力得分矩阵 ( QK^T ) 动态范围大，INT8量化时易溢出。某NLP模型的多头注意力层量化后，注意力熵从2.8降至1.5，导致长文本语义理解错误率增加30%。
LLMs开源模型们的分布式训练和量化
nakaizura
05-25 2668
这篇博文主要整理一下目前流行的训练方法和量化。使通用LLMs适应下游任务的最常见方法是微调所有模型参数或微调尾层参数（Freeze）。然而这会导致每个任务都有一份单独的微调模型参数，训练成本高。- Adapter。冻结原有参数，添加adapter层用于微调。adapter层一般先向下投影，然后非线性激活函数，再使用向上投影，最后接残差连接。
端到端Transformer模型的混合精度后量化
AI Flash
11-18 2085
端到端Transformer模型的混合精度后量化，需要克服如下难点： Transformer自回归模型，包含了Encoder与Decoder；端到端模型压缩的支持，需要考虑自回归逻辑（Beam Search）的复杂实现； 后量化需要考虑合理、有效的策略，确保量化鲁棒性； 混合精度决策需要考虑实现的高效性，通常采用Label-free方式； 具体可参考端到端语音识别的移动端解决方案； ...
``` Bitsandbytes 通过 k 位量化为 PyTorch 启用可访问的大型语言模型。Bitsandbytes 提供了三个主要功能，可显著减少推理和训练的内存消耗： 8 位优化器使用逐块量化，以极小的内存成本维持 32 位性能。 LLM.int8() 或 8 位量化仅需一半的内存即可实现大型语言模型推理，且性能不会有任何下降。该方法基于矢量量化，将大多数特征量化为 8 位，并使用 16 位矩阵乘法单独处理异常值。 QLoRA（即 4 位量化）能够通过多种节省内存且不影响性能的技术，实现大型语言模型训练。此方法将模型量化为 4 位，并插入一小组可训练的低秩自适应 (LoRA) 权重以进行训练。 ``` 详细讲一下bitsandbytes库是什么？？？
最新发布
08-01
LLM.int8()（8 位推理量化）** - **原理**： 通过 **矢量量化（vector quantization）** 将模型权重压缩为 8-bit，推理时使用 16-bit 矩阵乘法处理异常值。 - **异常值处理**：对分布尾部的极端值（如大权重）...
混合精度量化
03-09
例如LLM.int8()函数实现了自适应混合精度量化方法，该算法能够识别并向量级区域内应用更高精度(FP16)执行内积运算，然后再将其累积结果加入整体量化后的输出当中[^3]。 此外，《HAQ: Hardware-Aware Automated ...
大语言模型原理基础与前沿 FP8与INT8
AI天才研究院
09-24 1534
大语言模型原理基础与前沿：FP8与INT8 关键词： 大语言模型：大规模预训练语言模型，如BERT、GPT等，拥有数千亿甚至万亿参数。 FP8与INT8：低精度量化技术，用于减少内存消耗
Tiny LLM on Edge模型量化、转换与本地部署全流程解析
一键难忘的博客
07-24 406
近年来，大型语言模型（LLM）不断推动人工智能能力向前发展，但其庞大的参数规模和计算资源要求限制了其在边缘设备（如手机、嵌入式系统、IoT 设备）上的部署。随着模型压缩、量化和高效推理引擎的发展，小型 LLM 的 on-device 部署逐渐成为可能。
BitPack:BitPack是一种实用工具，可有效保存超低精度混合精度量化模型
05-22
比特包 BitPack是一种实用的工具，可以有效地保存具有混合位宽的量化神经网络模型。 安装 版本> = 1.4.0 Python版本> = 3.5 要安装Bitpack，只需运行： git clone https://github.com/Zhen-Dong/BitPack.git cd BitPack 用法 我们可以使用BitPack pack.py保存具有各种位宽的整数检查点，并使用BitPack unpack.py加载打包的检查点，如演示中所示。 要打包以浮点格式保存的整数值，请在命令中添加--force-pack-fp。 要直接在PyTorch中保存打包的检查点，请在pytorch_interface.py中使用save_quantized_state_dict（）和load_quantized_state_dict（）。 如果不想对state_dict进行联合操作，则
模型部署——RKNN模型量化精度分析及混合量化提高精度
weixin_NineDays66
03-20 1791
3.1 量化精度分析流程计算不同情况下，同一层网络输入值的余弦距离，来近似的查看每一层精度损失的情况。具体量化精度分析的流程如下：3.2 量化精度分析accuracy_analysis接口量化精度分析调用accuracy_analysis接口，推理并产生快照,也就是dump出每一层的tensor数据。会dump出包括fp32和quant两种数据类型的快照，用于计算量化误差。该接口使用的量化方式与config_中指定的一致。
llama.cpp一种在本地CPU上部署的量化模型（超低配推理llama）
热门推荐
god_Zeo的安全博客
04-23 2万+
前不久，Meta前脚发布完开源大语言模型LLaMA，随后就被网友“泄漏”，直接放了一个磁力链接下载链接。然而那些手头没有顶级显卡的朋友们，就只能看看而已了但是 Georgi Gerganov 开源了一个项目llama.cpp次项目的牛逼之处就是没有GPU也能跑LLaMA模型大大降低的使用成本，本文就是时间如何在我的 mac m1 pro 上面跑起来这个模型。
大模型量化算法之LLM.int8()
白马非马的博客
10-16 1369
LLM.int8() 梳理，文章阅读
大语言模型的模型量化(INT8/INT4)技术
stephen147的博客
08-09 4000
由于量化前的激活值变化范围较大，即使对于同一 token，不同channel数值差异较大，对每个 token 的量化也会造成精度损失，但是不难看出较大值一般出现在同一 channel，因此作者也分析了采用 per-channel 的量化方式，这种量化方式能很好的避免精度损失，但是硬件不能高效执行，增加了计算时间，因此大多数量化仍采用 per-token 及 per-tensor 的量化方式。最后，我们再计算与 A 和 B 的最大绝对值向量的外积，并将此与 C 求哈达玛积来反量化回 FP16。
Llama.cpp大模型量化简明手册
新缸中之脑
06-04 6000
大型语言模型 (LLM)，尤其是像 Mixtral 8x7b（467 亿个参数）这样的大型模型，对内存的要求非常高。当你尝试降低推理成本、提高推理速度或在边缘设备上进行推理时，这种内存需求就会变得明显。解决此问题的一个潜在方法是量化。在本文中，我们将使用易于理解的类比来简化量化的概念，并提供在 LLM 中实现它的实用指南。LLM 虽然功能强大，但由于模型规模较大，因此会消耗大量资源。这对资源受限的设备上部署带来了挑战，并且会阻碍推理速度和效率。量化提供了一种解决方案，即在保持性能的同时降低模型参数的精度。
大模型LLM.int8()量化技术原理与代码实现
star_nwe的博客
10-04 2045
所谓模型量化，其实就是将模型参数的精度从较高位宽(如FP16、FP32、BF16，一般是浮点运算)转换为较低位宽(如Int8、Int4，一般是整数运算)，从而降低模型存储大小及显存占用、提升推理性能。
大模型量化技术原理-LLM.int8()、GPTQ
吃果冻不吐果冻皮
02-19 6677
本文简要介绍了两种比较常用的大模型量化方法 GPTQ、LLM.int8()；LLM.int8() 属于 round-to-nearest (RTN) 量化：舍入到最近的定点数。而 GPT-Q 则是把量化问题视作优化问题，逐层寻找最优的量化权重。目前，这两种量化方法也集成到了Transformers库中，大家可以非常方便的使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值