大模型入门指南 - Quantization：小白也能看懂的“模型量化”全解析

最新推荐文章于 2025-07-22 11:28:19 发布

原创最新推荐文章于 2025-07-22 11:28:19 发布 · 886 阅读

CC 4.0 BY-SA版权

文章标签：

大模型（如DeepSeek、Qwen等）参数规模动辄数百亿，全精度（FP32）存储和推理会占用大量显存且速度慢。而模型量化技术通过将浮点数压缩为低精度整数，不仅能让大模型“瘦身”至1/4甚至更小体积，还能显著提升推理效率。例如，175B参数的模型用FP32需700GB显存，而量化到INT4仅需约10GB。

一、概念解读

*Quantization（模型量化）到底是个啥？***模型量化是一种****参数压缩与加速技术****，其核心逻辑是将模型中的****高精度浮点数（如32位浮点数 FP32）****转换为****低精度整数（如8位整数 INT8 或4位整数 INT4）****，从而减少存储空间、提升推理速度并降低硬件能耗。****

FP32（浮点数）：如同用科学计算器处理小数运算，精度高但计算慢、耗电多。
INT8（整数）：如同用算盘处理整数运算，速度快、能耗低，但需通过“单位换算”保证结果接近。

*模型**量化**的本质**是通过****数学映射****，在****精度损失可控****的前提下，**将模型参数从“高精度”转换为“低精度”**，实现****性能与效率的平衡****。***

**1. 确定量化范围****

****找到参数或激活值的最小值（min）和最大值（max）。******

****例如：****权重参数范围：*****min=-1.2,* max=0.8；激活值范围：``min=0.1, max=5.6。

**2. 计算缩放因子（Scale）与零点（Zero Point）****

（1）缩放因子：scale = (max - min) / (2^n - 1)（``n为量化位数，如 INT8 时 n=8，2^8-1=255）

*（2）零点：*zero_point = round(-min / scale)（确保浮点数 ``0 *映射到整数* 0*，避免负数溢出）***

*例如：若* min=-1.2, max=0.8，INT8 量化：scale = (0.8 - (-1.2)) / 255≈0.00784，zero_point = round(-(-1.2) / 0.00784) ≈ 153

*3. 量化与反量化公式*

（1）量化：q = round(x / scale) + zero_point（将浮点数 x 映射为整数 q）

（2）反量化：x' = (q - zero_point) * scale（将整数 q 还原为浮点数 x'）*
*

*为什么需要*Quantization（模型量化）*？****模型量化通过压缩内存占用和提升计算带宽效率，破解硬件资源受限与实时性需求矛盾。*****

****存储维度：*****INT8压缩4倍，INT4压缩8倍*，实现“大象变蚂蚁”；**
带宽维度：内存访问量减少75%，推理速度提升2-4倍，打通“高速专线”。

LLM Series - Quantization Overview | by Abonia Sojasingarayar | Medium

二、技术实现

*Quantization（模型量化）如何进行技术实现？**********模型量化主要通过训练后量化（Post-Training Quantization，PTQ）和量化感知训练（Quantization Aware Training，QAT）两种方式实现。***********

*1. PTQ（训练后量化）技术实现*

*PTQ在模型训练完成后，使用少量校准数据来估计权重和激活值的动态范围，进而确定量化参数（如缩放因子和零点），无需重新训练模型。**实现简单，无需重新训练模型，能够显著减少计算开销和内存占用，适用于大多数场景。*

**2. QAT（量化感知训练）技术实现****

**QAT在模型训练过程中就考虑量化效果，通过插入伪量化节点来模拟量化操作，模型在训练时即考虑到了量化误差，并通过反向传播算法调整模型的权重，从而使模型在量化后的推理阶段能够保持较高的精度。**由于在训练过程中考虑了量化误差，QAT通常能保证量化后的模型精度接近未量化模型，适用于对精度要求较高的应用场景。

Neural Network Model quantization on Mobile - AI blog - Arm Community blogs - Arm Community

**PyTorch如何实现Quantization（模型量化）？**PyTorch作为主流的深度学习框架，提供了完整的量化工具链，支持训练后量化（PTQ）、量化感知训练（QAT）和动态量化等多种方式。**

**1. 动态量化（Dynamic PTQ）****

import torchfrom torch.quantization import quantize_dynamic# 加载预训练模型model = torch.load('model.pth')model.eval()# 动态量化（量化Linear和LSTM层）quantized_model = quantize_dynamic(    model,     {torch.nn.Linear, torch.nn.LSTM},  # 指定量化层类型    dtype=torch.qint8)

**2. 静态量化（Static PTQ）****

from torch.quantization import prepare, convert# 准备校准数据集def calibrate(model, data_loader):    model.eval()    with torch.no_grad():        for inputs in data_loader:            model(inputs)# 配置量化参数model.qconfig = torch.quantization.get_default_qconfig('fbgemm')model_prepared = prepare(model)          # 插入Observer节点calibrate(model_prepared, data_loader)  # 校准激活值范围quantized_model = convert(model_prepared)  # 转换为量化模型

**3. 量化感知训练（QAT）****

from torch.quantization import prepare_qat, FakeQuantize# 定义QAT模型model.qconfig = torch.quantization.get_default_qat_qconfig('fbgemm')model_prepared = prepare_qat(model)     # 插入伪量化节点# 训练阶段（模拟量化误差）optimizer = torch.optim.SGD(model_prepared.parameters(), lr=0.01)for inputs, labels in train_loader:    outputs = model_prepared(inputs)    loss = criterion(outputs, labels)    loss.backward()    optimizer.step()# 转换至最终量化模型quantized_model = convert(model_prepared)

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述