GGML 或GGUF的14种不同量化模式说明

已于 2025-02-15 08:27:43 修改
阅读量3.2w 收藏 52
点赞数 28
CC 4.0 BY-SA版权
文章标签： 人工智能
于 2023-12-12 07:08:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/znsoft/article/details/134939795
文章详细介绍了Llama-2模型中14种GGML量化方法，推荐使用Q5_K_M以保持性能，Q4_K_M用于内存节省，强调了Q2和Q3版本对性能的影响。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

查看 TheBloke/Llama-2–13B-chat-GGML 存储库中的文件，我们可以看到 14 种不同的 GGML 模型，对应于不同类型的量化。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。以下是所有可能的量化方法及其相应用例的列表，基于 TheBloke 制作的模型卡中的描述，针对llama2模型架构：

  • q2_k：将 Q4_K 用于 attention.vw 和 feed_forward.w2 张量，Q2_K用于其他张量。
  • q3_k_l：将 Q5_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K
  • q3_k_m：将 Q4_K 用于 attention.wv、attention.wo 和 feed_forward.w2 张量，否则Q3_K
  • q3_k_s：将Q3_K用于所有张量
  • q4_0：原始量化方法，4 位。
  • q4_1：精度高于q4_0但不如q5_0。但是，与 q5 模型相比，推理速度更快。
  • q4_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q4_K
  • q4_k_s：将Q4_K用于所有张量
  • q5_0：  原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
  • q5_1：精度高于q5_0但不如q6_k。但是，与 q6 模型相比，推理速度更快。
  • q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K
  • q5_k_s：将Q5_K用于所有张量
  • q6_k：将Q8_K用于所有张量
  • q8_0：与16位浮点数几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。

根据经验，我建议使用 Q5_K_M，因为它保留了模型的大部分性能。或者，如果要节省一些内存，可以使用 Q4_K_M。一般来说，K_M版本比K_S版本更好。我不推荐 Q2 或 Q3 版本，因为它们会大大降低模型性能。

znsoft
关注
Tiny LLM on Edge模型量化、转换与本地部署全流程解析
一键难忘的博客
07-24 373
近年来，大型语言模型（LLM）不断推动人工智能能力向前发展，但其庞大的参数规模和计算资源要求限制了其在边缘设备（如手机、嵌入式系统、IoT 设备）上的部署。随着模型压缩、量化和高效推理引擎的发展，小型 LLM 的 on-device 部署逐渐成为可能。
将大模型量化为GGUF模型文件
2401_83692861的博客
06-17 1419
大语言模型在各种领域都有着广泛的应用，但是也面临着一些挑战，比如模型的大小、计算量和内存占用都很大，这限制了模型在某些设备上的部署和运行。为了解决这些问题，模型量化应运而生。模型量化是一种将浮点计算转成低比特定点计算的技术，它可以有效的降低模型计算强度、参数大小和内存消耗，从而提高模型的推理速度和效率。它是一种新的二进制模型文件，它可以对深度学习模型进行高效的压缩，大大减少模型的大小和内存占用，从而提高模型的推理速度和效率，同时兼顾模型的推理质量。
ggml 简介
Hugging Face
08-26 1218
ggml是一个用 C 和 C++ 编写、专注于 Transformer 架构模型推理的机器学习库。该项目完全开源，处于活跃的开发阶段，开发社区也在不断壮大。ggml 和 PyTorch、TensorFlow 等机器学习库比较相似，但由于目前处于开发的早期阶段，一些底层设计仍在不断改进中。ggmlhttps://github.com/ggerganov/ggml相比于llama.cpp和whispe...
用GGUF和Llama.cpp量化Llama模型
wangyifan123456zz的博客
02-26 5459
GGML是一个专注于机器学习的C语言库。它是由Georgi Gerganov创建的，这是GG的首字母缩写。这个库不仅提供了机器学习的基本元素，如张量，而且还提供了一种独特的二进制格式来分发llm。该格式最近更改为GGUF。这种新格式被设计为可扩展的，因此新特性不会破坏与现有模型的兼容性。它还将所有元数据集中在一个文件中，例如特殊 tokens、RoPE缩放参数等。简而言之，它解决了历史上的一些痛点，而且应该经得起未来的考验。欲了解更多信息，您可以在此地址阅读规范。
GGUF——一种用于存储大模型的文件格式
最新发布
在下_诸葛的博客
06-05 771
GGUF 是一种高效、灵活且向下兼容的模型存储格式。 它通过标准化的元数据和文件结构，简化了模型部署和跨平台推理，同时支持未来扩展。
【LLM大模型】Ollama 运行 GGUF 模型
2301_81888214的博客
09-29 3356
【LLM大模型】Ollama 运行 GGUF 模型
源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
2401_82700030的博客
07-04 4931
源2.0 是浪潮信息发布的新一代基础语言大模型。我们开源了全部的3个模型源2.0-102B，源2.0-51B和源2.0-2B。并且我们提供了预训练，微调，推理服务的相关脚本，以供研发人员做进一步的开发。源2.0是在源1.0的基础上，利用更多样的高质量预训练数据和指令微调数据集，令模型在语义、数学、推理、代码、知识等不同方面具备更强的理解能力。更多详情请参考Yuan2.0模型技术报告和Github。
GGUF类型模型文件
weixin_38650077的博客
04-13 6197
GGUF 模型是一种二进制模型文件格式，专为在CPU上快速加载和保存模型而设计。它是 GGML、GGMF 和 GGJT 的后继文件格式，通过包含加载模型所需的所有信息来确保明确性，并且可以在不破坏兼容性的情况下扩展新信息。GGUF 的特点包括：更高效的使用：GGUF 格式采用多种技术来保存模型，包括紧凑的二进制编码格式、优化的数据结构和内存映射，从而使模型在加载和使用时更快速，资源消耗更低。
GGUF格式的大模型文件
asd8705的专栏
07-08 1741
不同的计算平台可能采用不同的端序。很多模型模型，如Yi-34B、Llama2-70B等模型都有对应的GGUF版本，这些版本都模型除了文件名多了GGUF外，其它与原有的模型名称完全一致。此前，Georgi Gerganov推出了GGML工具，并推出了与之相应的大模型格式GGML，但是由于GGML设计落后于时代的发展，因此被弃用，由GGUF替代。大语言模型的开发通常使用PyTorch等框架，其预训练结果通常也会保存为相应的二进制格式，如pt后缀的文件通常就是PyTorch框架保存的二进制预训练结果。
基于ggml+C++部署Vision-Transformer算法-无依赖+轻量化+4bit+8bit量化源码+项目说明.zip
10-13
该项目提供的源码支持4bit和8bit两种量化的模式，进一步减少了模型对硬件资源的需求。这种量化的实现不仅有助于提升模型的运行速度，也使得模型能够部署在资源受限的平台上，比如移动设备或者边缘计算设备上。在这样...
Pickle, SafeTensor, GGML和GGUF
新缸中之脑
07-01 2063
让我们从描述机器学习模型开始。最简单的说，模型是一个文件或一组文件，其中包含模型架构以及从训练循环生成的模型的权重和偏差。在 LLM 领域，我们通常对 Transformer 风格的模型和架​​构感兴趣。在 Transformer 中，我们有许多活动部件。对于输入，我们使用从人类生成的自然语言内容中聚合的训练数据语料库将这些数据转换为嵌入对嵌入进行位置编码，以提供有关单词在序列中彼此相对位置的信息基于初始化的权重组合，为序列中每个单词相对于其他单词创建多头自注意力。
使用llama.cpp量化大语言模型
weixin_43217276的博客
07-29 913
其中./your_hf_model_file为你的hf或者gguf格式的模型文件文件夹地址，llama.cpp还支持多种模型格式转换方法，可以去github项目地址自行查看，其中./mymodel/yourmodel.gguf是输出文件夹的地址和输出的gguf格式文件名称，记得一定要以.gguf结尾。在之前的教程中，我们提到了unsloth微调的办法，那时候保存的模型直接为.safetensors格式的，所以我们要先将其转换为gguf FP16格式格式。
Ollama 通过GGUF 文件本地运行任何开源大模型
chenyu_Yang的博客
05-24 889
3、打开ollama 终端输入：ollama create baichuan2-7b -f Modelflie.txt。1、下载 GGUF --》Hugging Face 里搜索下载 （baichuan gguf、qwen gguf）创建一个新的模型文件 名字 【baichuan2-7b】 使用 读取 Modelflie.txt 文件。2、下载文件到本地后 然后在同目录创建一个 txt 文建。
Ollama怎么启动.gguf 大模型
本博客，博文仅代表个人操作经验，不能完全解决你的问题，仅供参考，佛系回复。
07-29 2379
Llama3-8B。
学习笔记-大模型GGUF是什么？
地球空间
02-25 1126
GGUF通过二进制编码、内存映射（mmap）等技术，显著提升模型加载速度并降低内存占用。例如，在推理时可直接从磁盘映射数据到内存，无需完全加载整个文件。GGUF文件自包含所有模型信息（如元数据、张量数据），支持跨平台使用，无需依赖外部文件或复杂配置。同时，其键值对元数据结构允许灵活扩展，保持向后兼容。GGUF支持多种量化类型（如Q8_K、Q6_K等），通过降低模型精度减少文件大小，适用于不同硬件资源场景。LM Studio作为本地大模型部署工具，
大模型GGUF文件是啥？
qq_42755230的博客
10-18 3542
GGUF文件说明
GGUF模型的不同量化模式说明
热门推荐
weixin_44455388的博客
03-06 1万+
在下载Qwen1.5-72B-Chat_GGUF模型时，发现其提供了8种不同的 GGUF模型。它们遵循特定的命名约定：“q”+ 用于存储权重的位数（精度）+ 特定变体。q8_0：与浮点数16几乎无法区分。资源使用率高，速度慢。不建议大多数用户使用。q6_k：将Q8_K用于所有张量。q5_k_m：将 Q6_K 用于一半的 attention.wv 和 feed_forward.w2 张量，否则Q5_K。q5_0： 原始量化方法，5位。精度更高，资源使用率更高，推理速度更慢。
gguf文件与大模型的区别
03-08
<think>好的，用户现在问的是“gguf文件与大模型的区别”。我需要先理解这两个概念各自是什么，然后找出它们之间的区别。首先，大模型通常指的是像LLaMA、GPT这样的参数量巨大的模型，而GGUF可能是一种文件格式或者技术标准。用户可能在使用或者下载模型时遇到了这两种术语，想了解它们的区别。 首先，GGUF是Generative Generative Unified Format的缩写，是llama.cpp团队开发的模型文件格式，用于替代之前的GGML格式。而大模型指的是模型本身的结构和参数规模。用户可能混淆了模型文件格式和模型本身的区别，需要明确GGUF是保存模型权重和配置的一种方式，而大模型是实际运行的算法结构。 接下来需要分点解释两者的区别。可能需要从定义、内容、功能、技术细节等方面展开。比如，GGUF作为文件格式，负责存储模型参数、配置信息、元数据等，而大模型是这些参数在运行时的表现。同时，GGUF支持量化技术，可以减小模型文件大小，提升运行效率，而大模型本身的架构（如Transformer层数、注意力头数）决定了其能力和性能。 还要考虑用户可能的背景。用户可能在使用本地部署的大模型时接触到GGUF文件，比如通过llama.cpp或其他工具加载模型。这时候需要解释GGUF文件的作用，比如如何存储量化后的模型参数，使得模型能在资源受限的环境下运行。 用户可能没有说出来的需求是，如何正确使用GGUF文件来加载和运行大模型，或者在选择模型时如何根据需求选择不同格式。因此，在回答时需要涵盖GGUF的优势，如灵活性、跨平台支持、量化方法等，以及与大模型的关系，比如不同的大模型（如LLaMA、Mistral）都可以用GGUF格式保存。 需要避免过于技术化的术语，用通俗易懂的语言解释。同时，结构要清晰，可能使用比较表格来展示区别。最后给出使用建议，帮助用户理解何时需要关注GGUF文件，何时关注大模型本身的结构。</think>以下是**GGUF文件**与**大模型**的核心区别解析： --- ### 一、**本质定位不同** | | 大模型 (如LLaMA, GPT) | GGUF文件 | |------------------|-------------------------------|----------------------------------| | **定义** | 人工智能算法本体 | 模型的**存储格式标准** | | **类比** | 相当于Windows操作系统 | 相当于系统安装包(.iso文件) | | **核心价值** | 模型结构与推理能力 | 模型参数的**高效存储与部署方案** | --- ### 二、**技术细节对比** #### 1. **内容组成差异** - **大模型**包含： ✅ Transformer层架构 ✅ 参数矩阵（权重/偏置） ✅ 注意力机制实现代码 ✅ 训练所得的知识表征 - **GGUF文件**包含： ✅ **量化后的模型权重**（如Q4_K_M格式） ✅ **元数据**（作者、许可证、创建时间） ✅ **硬件适配信息**（CPU/GPU指令集优化） ✅ **分词器配置**（词汇表、特殊token处理规则） #### 2. **量化支持对比** | 能力 | 大模型原生状态 | GGUF文件 | |-----------------|--------------------|----------------------| | 精度模式 | FP16/FP32 | 支持Q2~Q8多种量化 | | 运行硬件 | 需要高性能GPU | 可CPU推理+低显存GPU | | 典型文件大小 | 13B模型约26GB | Q4量化后约4GB | > 示例：LLaMA-7B模型 > - 原始版：13.5GB (FP16) > - GGUF版：3.9GB (Q4_K_M) --- ### 三、**使用场景差异** #### 1. **大模型的核心作用** - 定义模型的**架构能力上限** （如：70B参数模型 > 7B模型的理解能力） - 决定**多模态支持**（纯文本/视觉/代码等） - 影响**微调潜力**（LoRA适配器注入可行性） #### 2. **GGUF的核心作用** - **部署优化**：使百亿参数模型在消费级硬件运行 （如：MacBook M1可流畅运行13B模型） - **版本控制**：通过元数据追溯模型来源 （包含训练数据截止日期、基础模型版本） - **安全隔离**：支持模型与推理代码分离 （防止恶意代码注入） --- ### 四、**依赖关系** 1. GGUF**依赖大模型**存在 （没有原始模型则无法生成GGUF文件） 2. 大模型的**实际使用依赖GGUF** （在资源受限场景必须通过量化格式部署） ```bash # 典型工作流示例 原始PyTorch模型 --(转换)--> GGUF格式 --(加载)--> llama.cpp推理 ``` --- ### 五、**常见误区** ❌ 错误认知："GGUF是一种新模型" ✅ 正解：GGUF是现有模型的**高效封装格式** ❌ 错误操作：试图直接修改GGUF文件内权重 ✅ 正确做法：应通过`llama.cpp`等工具进行量化/反量化操作 --- ### 六、**选择建议** 1. **研究模型能力** → 关注大模型架构（参数量、训练数据） 2. **优化部署效率** → 选择合适GGUF量化版本（Q5_K_M最佳平衡） 3. **长期维护** → 优先选用GGUF而非早期GGML格式
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值