SmoothQunat——LLM激活值量化的等价均衡

Law-Yao

已于 2023-03-26 14:47:01 修改

阅读量1k

点赞数

CC 4.0 BY-SA版权

分类专栏：自然语言处理模型压缩人工智能文章标签：自然语言处理 GPT 人工智能模型压缩量化

于 2023-03-26 14:45:24 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/nature553863/article/details/129779091

SmoothQuant是一种针对语言大模型激活值量化的技术，旨在解决随着模型参数规模增大，异常值（Outlier）占比上升导致的量化误差问题。该方法通过实现激活与权重数值分布的等价均衡变换，显著提升了模型压缩后的量化效果。了解更多详情可参考相关Paper和GitHub链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

基于LLM.int8()的分析，随着语言大模型参数规模增大，激活中的异常值（Outlier）占比会显著上升，导致激活值量化误差增大。详见如下文章：

https://blog.csdn.net/nature553863/article/details/128177323

SmoothQuant通过Activation与Weight数值分布的等价均衡变换，能够显著改善语言大模型的激活量化效果：

Paper地址：https://arxiv.org/abs/2211.10438

GitHub链接：

最低0.47元/天解锁文章

新学期VIP享超值加赠

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。