1-2B参数规模大模型使用心得及模型汇总

最新推荐文章于 2025-05-23 15:00:00 发布
最新推荐文章于 2025-05-23 15:00:00 发布
阅读量1.9k 收藏 26
点赞数 25
CC 4.0 BY-SA版权
分类专栏： 大模型 文章标签： 人工智能 stable diffusion chatgpt LLM 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596990/article/details/135178742

大模型时代，根据大模型缩放定律，大家通常都在追求模型的参数规模更大、训练的数据更多，从而使得大模型涌现出更多的智能。但是，模型参数越大部署压力就越大。即使有gptq、fastllm、vllm等推理加速方法，但如果GPU资源不够也很难保证高并发。

那么如何在模型变小的同时，模型效果不明显下降，在指定任务上也可以媲美大模型的效果呢？

Google前几天发布的Gemini，在移动端采用1.8B参数模型面向低端手机，3.25B参数模型面向高端手机。

图片

An overview of the Gemini 1.0 model family

而微软最近也是推出了2.7B的Phi-2模型，评测效果绝群。

图片

Averaged performance on grouped benchmarks compared to popular open-source SLMs

图片

Comparison between Phi-2 and Gemini Nano 2 Model on Gemini’s reported benchmarks

恰好笔者前段时间也在研究1-2B参数量左右的模型，因此写写心得体会；并汇总了一下现在市面上开源的1-2B参数量的大模型。

这波反向操作，佛曰：不可说。

如何使大模型变小

模型压缩的方法包括：用更多的数据硬训练小模型、通过大模型对小模型进行蒸馏、通过大模型对小模型进行剪枝、对大模型进行量化、对大模型进行低秩分解。

图片

Taxonomy of Model Compression methods for Large Language Models

但是模型参数量变小还是硬训练或蒸馏一个参数量小的模型，剪枝和量化只是对模型进行推理加速，本质上参数量没有变少。

Paper: https://arxiv.org/pdf/2308.07633.pdf

对于预训练阶段来说，往往需要更多的数据硬训练。参数规模不够，只能数据质量和数据数量来凑。

图片

Textbooks Are All You Need

而在指令微调阶段，往往是蒸馏更优秀的大模型，来让小模型效果更好。利用GPT3.5、GPT4的数据直接指令微调是对闭源大模型蒸馏的方法之一，也是目前大家主流的做法。但也可以在蒸馏过程中，利用闭源大模型充当一个裁判来判别教师模型回答和学生模型回答的差异，让学生模型向老师模型（闭源）进行反馈，重点是找到困难数据让学生模型进行更好的学习。

图片

Lion: Adversarial Distillation of Proprietary Large Language Models

当然如果你本身拥有更大更好的大模型，那么就可以用标准的知识蒸馏来进行模型蒸馏，利用KL散度，对教师模型和学生模型输出概率分布之间的差异进行训练学习。

将更大模型的效果蒸馏到小模型上，会比硬训练的效果要理想，但首先要有一个可获取网络各层logits的大&好&强的模型。

训练1-2B参数规模使我痛并快乐

  • 训练1-2B模型让我又找到了全量调参的快乐，之前受显卡限制，都是Lora、QLora等方法训练。

  • 模型部署阶段，再也不用为显存发愁，老卡也轻轻松松进行模型部署。对于2B模型，Float32进行参数部署也就8G、Float16就需要4G，如果再做量化的话更小，甚至CPU部署速度也可以接受。

  • 同等数据情况下，效果确实不如更大的模型。以Qwen1.8B和7B为例，在自己任务上指标差了7-10个点。

  • 在个人任务上，通过增加数据，将训练数据扩大2-4倍并提高数据质量之后，效果基本上可以媲美。

  • 小模型在没有定制优化的任务上，就一言难尽了，泛化能力等都远不如更大的模型。

  • 用了小模型之后，再也没被吐槽过速度了。

主流1-2B参数规模的大模型汇总

共整理了14个1-2B参数规模的大模型，按照参数量从大到小排序，如下所示。图片

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

建了技术交流群&星球！想要资料、进交流群的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司，即可。然后就可以拉你进群了。

方式①、添加微信号：mlc2060，备注：大模型资料 or 技术交流
方式②、微信搜索公众号：机器学习社区，后台回复：大模型资料 or 技术交流

在这里插入图片描述

在这里插入图片描述

Yuan2.0-2B

Yuan2.0-2B是浪潮发布的Yuan2.0大模型的2B版本，采用中英文的高质量资料，包括书籍、百科、论文等。Yuan2.0-2B模型层数24层，隐藏层维度2048，支持最大长度8192。

Github: https://github.com/IEIT-Yuan/Yuan-2.0
HF: https://huggingface.co/IEITYuan/Yuan2.0-2B
Paper: https://arxiv.org/ftp/arxiv/papers/2311/2311.15786.pdf

Qwen-1.8B

Qwen-1.8B是阿里发布的Qwen大模型的1.8B版本，采用2.2TB Token的数据进行预训练，包含高质量中、英、多语言、代码、数学等数据，涵盖通用及专业领域的训练语料。Qwen-1.8B模型层数24层，隐藏层维度2048，支持最大长度8192，并且开源了对应的Chat模型。

Github: https://github.com/QwenLM/Qwen
HF: https://huggingface.co/Qwen/Qwen-1_8B
Paper: https://arxiv.org/pdf/2309.16609.pdf

Bloom-1.7B&1.1B

Bloom-1.7B&1.1B是Hugging Face牵头组织的BigScience项目开源的Bloom大模型的1.7B和1.1B版本。训练数据涉及46种自然语言和13种编程语言，共计1.6TB的文本数据。Bloom-1.7B模型层数24层，隐藏层维度2048，支持最大长度2048。Bloom-1.1B模型层数24层，隐藏层维度1536，支持最大长度2048。

HF: https://huggingface.co/bigscience/bloom
Paper: https://arxiv.org/pdf/2211.05100.pdf

Pythia-1.4B&1B

Pythia-1.4B&1B是EleutherAI开源的Pythia的1.4B和1B版本。主要使用300B Token的The Pile数据集进行训练。Pythia-1.4B模型层数24层，隐藏层维度2048。Pythia-1B模型层数16层，隐藏层维度2048。

Github: https://github.com/EleutherAI/pythia
HF: https://huggingface.co/EleutherAI/pythia-1b
&&
HF: https://huggingface.co/EleutherAI/pythia-1.4b
Paper: https://arxiv.org/pdf/2304.01373.pdf

Phi-1&Phi-1.5

Phi-1&Phi-1.5是微软开源的Phi大模型的两个不同版本，均有1.3B参数，模型层数24层，隐藏层维度2048。Phi-1模型训练54B Token的数据，而Phi-1.5模型训练150B Token的数据。

HF: https://huggingface.co/microsoft/phi-1
Paper: https://arxiv.org/pdf/2306.11644.pdf
&
HF: https://huggingface.co/microsoft/phi-1_5
Paper: https://arxiv.org/pdf/2309.05463.pdf

Deepseek-Coder-1.3B

Deepseek-Coder-1.3B是深度求索发布开源的Deepseek-Coder的1.3B版本，采用1TB Token的数据进行预训练，数据由87%的代码和13%的中英文自然语言组成，模型层数24层，隐藏层维度2048。

Github: https://github.com/deepseek-ai/deepseek-coder
HF: https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-base

Galactica-1.3B

Galactica-1.3b是MetaAI开源的Galactica大模型的1.3B版本，采用106B Token数据进行训练，数据主要来自论文、参考资料、百科全书和其他科学来源等。模型层数24层，隐藏层维度2048。

Github: https://github.com/paperswithcode/galai/blob/main/docs/model_card.md
HF: https://huggingface.co/facebook/galactica-1.3b
Paper: https://galactica.org/static/paper.pdf

GPT-Sw3-1.3B

GPT-Sw3-1.3B是AI Sweden开源的GPT-SW3大模型的1.3B版本，采用320B Token数据进行训练，数据主要由瑞典语、挪威语、丹麦语、冰岛语、英语和编程代码数据集组成。模型层数24层，隐藏层维度2048。

HF: https://huggingface.co/AI-Sweden-Models/gpt-sw3-1.3b

GPT-Neo-1.3B

GPT-Neo-1.3B是EleutherAI开源的GPT-Neo大模型的1.3B版本，GPT-Neo模型主要为了复现的GPT-3模型，采用380B Token数据进行训练，模型层数24层，隐藏层维度2048。

HF: https://huggingface.co/EleutherAI/gpt-neo-1.3B

OPT-1.3B

OPT-1.3B模型是由MetaAI开源的OPT大模型的1.3B版本，采用180B Token数据进行训练，模型层数24层，隐藏层维度2048。

HF: https://huggingface.co/facebook/opt-1.3b
Paper: https://arxiv.org/pdf/2205.01068.pdf

TinyLlama-1.1B

TinyLlama模型是一个1.1B参数的Llama模型，旨在3TB Token的数据上进行训练，目前训练到2.5TB Token数据，模型层数22层，隐藏层维度2048。

Github: https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1195k-token-2.5T
HF: https://huggingface.co/facebook/opt-1.3b

写到最后

如果领导非要部署大模型，但对效果要求没有那么高，又没有资源支持，那么选择一个1-2B的模型也是不错的呦。

【人工智能】大模型的参数规模 （Model Size 模型包含的参数数量），是衡量这些模型复杂度和能力的关键指标之一
本本本添哥
01-17 1227
大模型（LargeModel）是指那些包含超大规模参数（通常在十亿个以上）的神经网络模型。这些模型具有巨大的规模，可以达到数百GB甚至更大。早期，数百万或几千万个参数的模型就被认为是“大模型”，但如今，由于模型参数量和计算复杂度都在不断增加，因此数亿甚至数十亿个参数的模型也变得更加常见。一般而言，对于自然语言处理（NLP）任务，参数数量超过1亿的模型被认为是大模型；对于计算机视觉（CV）任务，则通常认为参数数量超过1亿到10亿之间的模型为大模型。
炼丹上瘾？1B大模型训练实战全记录，带你深入探索！
m0_63171455的博客
01-22 856
通过这三个阶段的训练，模型在预训练、微调和直接偏好优化中逐渐提升了性能，尽管在 DPO 阶段并未显著提升模型表现，但整个训练流程为模型的理解和调优提供了宝贵的经验。
大规模数据训练超大参数量的巨量模型，被认为是实现通用人工智能的一个重要方向
slivegogo的博客
11-01 1538
　　根据浪潮提供的测试数据，将源1.0模型生成的对话、小说续写、新闻、诗歌、对联与由人类创作的同类作品进行混合并由人群进行分辨，测试结果表明，人群能够准确分辨人与“源1.0”作品差别的成功率已低于50%。 　　在零样本学习榜单中，“源1.0”超越业界最佳成绩18.3%，在文献分类、新闻分类，商品分类、原生中文推理、成语阅读理解填空、名词代词关系6项任务中获得冠军；在小样本学习的文献分类、商品分类、文献摘要识别、名词代词关系等4项任务获得冠军。在成语阅读理解填空项目中，源1.0的表现已超越人类得分。 　　
模型参数规模和模型参数大小的关系
qq_15821487的博客
06-28 4693
有一个模型参数量是1M（数量的1M是一百万），在一般的深度学习框架中(比如说PyTorch)，一般是32位存储。现在的quantization技术就是减少参数量所占的位数：比如用8位存储，那么：所需要的存储空间的大小即为：1M * 8 bit = 8Mb = 1MB。已知：Bert的Base model参数大小是110M（110million的参数），Bert的Base model的模型大小是400M。但是实际用模型的时候，都是下载，几百兆或者一两G的模型。即1M(一百万)的参数，需要的存储空间是4M。
大模型参数规模扩大是趋势
2401_82452722的博客
07-02 3764
大模型参数规模扩大是趋势，参数规模迈向万亿级。
最新开源：英伟达Nemotron-4 340B，哔哩哔哩Index-1.9B，谷歌RecurrentGemma-9B...
u012744245的博客
06-18 1291
当地时间6月14日，英伟达开源 Nemotron-4 340B 系列模型，包括三个模型：基础模型Nemotron-4-340B-Base，指令模型Nemotron-4-340B-Instruct，以及奖励模型Nemotron-4-340B-Reward，具有3400亿参数，在NVIDIA开放模型许可协议下开放访问，允许分发、修改和使用这些模型及其输出。bilibili开源轻量级模型Index-1.9B，具有19亿参数，在2.8T中英文为主的语料上预训练，该系列模型在多个评测基准上与同级别模型相媲美。
一年实战回顾：运用大语言模型打造产品的心得与启示
2301_82000445的博客
08-14 1001
现在是使用大语言模型 (LLMs) 构建产品的激动人心的时刻。在过去的一年中，LLMs 的表现已经“足够好”可以应用于现实世界。LLMs 改进的速度，加上社交媒体上的大量演示，将推动预计到 2025 年 AI 投资达到 2000 亿美元。LLMs 的广泛可用性，让每个人，而不仅仅是机器学习工程师和科学家，都能在他们的产品中构建智能。虽然构建 AI 产品的门槛已经降低，但要创建那些不仅仅是演示效果好的产品，仍然充满挑战。
⭐️⭐️⭐️白嫖的阿里云认证⭐️⭐️⭐️ 第三弹【课时1：认识RAG技术】for「大模型Clouder认证：RAG应用构建及优化」
最新发布
davidkorhenn的博客
05-23 998
【摘要】作为一名备考阿里云的自学考生，我将通过这篇文章分享《课时 1：认识 RAG 技术》的核心学习内容与心得。本文围绕 RAG 的基础概念、实现原理、技术优势及未来趋势展开，结合生活化案例拆解复杂技术逻辑，同时提供知识点重要性与难易度评估表，帮助新手快速建立知识框架，明确备考重点。无论是想入门大模型领域，还是冲刺认证考试，本文都将成为你理解 RAG 技术的实用指南。
【阿里云大模型高级工程师ACP学习笔记】3 总结与展望
davidkorhenn的博客
05-06 2958
【摘要】本文详细分享了自学备考阿里云大模型高级工程师 ACP 认证的学习笔记。涵盖学习目标设定，对大模型应用开发各知识点的汇总梳理，包括重要性和难易度评估，还对重点难点知识的学习心得进行了分享，为想要考取该认证的学习者提供全面的参考。
7B？13B？175B？解读大模型的参数
2401_84206094的博客
07-15 1921
大模型也是有大有小的，它们的大小靠参数数量来度量。GPT-3就有1750亿个参数，而Grok-1更是不得了，有3140亿个参数。当然，也有像Llama这样身材苗条一点的，参数数量在70亿到700亿之间。这里说的70B可不是指训练数据的数量，而是指模型中那些密密麻麻的参数。这些参数就像是一个个小小的“脑细胞”，越多就能让模型更聪明，更能理解数据中那些错综复杂的关系。有了这些“脑细胞”，模型在处理任务时可能就会表现得更好。
大模型命名中的B是什么意思
qq_38431934的博客
07-10 6244
字母"B"通常代表“Billion”，即“十亿”。这是模型训练中所使用到参数的数量。例如，GPT-3模型有175B个参数，这里的“175B”就是表示该模型有1750亿个参数。参数越多，代表模型训练的越复杂，模型的能力也就越强。通常1B，意味着需要1G以上的内存，7B需要8G以上的内存才能成功运行大模型。
大模型~合集1
whaosoft143ai的博客
03-08 858
该研究通过将大型语言模型（LLM）智能体引入侦探角色扮演游戏 “剧本杀”，探索了 LLM 智能体在复杂叙事环境中的应用潜力，为观察和评估 LLM 智能体的行为及能力提供了新的视角和方法，并为社区深入理解大型语言模型的能力开辟了新途径。通过实证研究，该团队证明了其设计的多智能体互动框架和上下文学习模块在信息收集、凶手识别和逻辑推理能力方面，相较于基线模型有了显著提升。这一发现预示着 LLM 在复杂推理任务中应用的广阔前景。预计在不远的将来，AI 将能够与人类携手解决复杂场景的推理问题。whaosoft aio
炼丹上头了！1B大模型训练实战
2401_85373691的博客
02-06 886
通过这三个阶段的训练，模型在预训练、微调和直接偏好优化中逐渐提升了性能，尽管在 DPO 阶段并未显著提升模型表现，但整个训练流程为模型的理解和调优提供了宝贵的经验。
从零训练的 1B 以下小模型汇总
zenRRan的博客
07-06 2308
知乎：Angry Bugs链接：https://zhuanlan.zhihu.com/p/693252663最好的学习方式莫过于自己从头做一遍。学习大模型的相关知识以来，一直都想从头自己训练一个 1B 以下的模型，感觉这样才算是真的学过了。不过以手头的资源，也只能玩玩儿迷你的小模型了。最近在网上搜了不少资料，主要是 GitHub 上的仓库和 Arxiv 上的 paper，顺便记录在这里。https...
大模型参数——详细介绍
2402_84466582的博客
08-07 4917
大模型参数——详细介绍
让天下没有难Tuning的大模型-PEFT（参数效率微调）技术简介
强化学习曾小健
06-20 630
让天下没有难Tuning的大模型-PEFT技术简介》最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
YOLOv8-seg模型
05-06
### YOLOv8-seg 模型使用指南 #### 1. 模型概述 YOLOv8-seg 是一种基于实例分割的任务模型，能够同时完成目标检测和像素级别的语义分割。该模型适用于多种场景下的对象识别与区域划分任务。 --- #### 2. 编译与运行环境准备 为了顺利使用 YOLOv8-seg 模型，需确保开发环境中已安装必要的依赖库以及配置好 GPU/CPU 推理支持工具链。具体操作如下： - 安装 PyTorch 和 Ultralytics 库： ```bash pip install torch torchvision ultralytics ``` - 如果需要 TensorRT 加速推理，则额外安装 NVIDIA 的 TensorRT SDK 并设置路径变量[^1]。 --- #### 3. 数据集准备 对于训练阶段，建议采用 COCO 或自定义标注数据集作为输入源。以下命令可用于下载官方提供的 `coco128-seg` 小规模测试集合[^2]: ```bash git clone https://github.com/ultralytics/yolov5.git cd yolov5 && wget https://github.com/ultralytics/yolov5/releases/download/v1.0/coco128-seg.zip unzip coco128-seg.zip ``` --- #### 4. 训练流程 利用内置脚本启动模型训练过程，指定参数如 epochs 数量、批次大小等即可实现自动化学习调整[^2]: ```python !python train.py \ --data coco128-seg.yaml \ --cfg yolov8-seg.yaml \ --epochs 50 \ --batch-size 16 ``` 此过程中会生成对应的权重文件存放在 runs/train/exp 目录下供后续加载调用。 --- #### 5. 预测后处理逻辑解析 当执行推断时，原始输出通常包含边界框坐标、类别标签及其关联 Masks 矩阵等内容。这些初步结果还需经历一系列优化步骤才能最终呈现给用户界面显示效果良好版本[^3] : - **置信度过滤**: 移除低于设定阈值的所有候选框； - **非极大抑制 (NMS)**: 解决重叠区域内重复标记问题； - **Mask 提取**: 对应于保留下来的每一个物体提取相应掩膜片段； - **尺寸还原映射**: 把裁剪缩放后的特征重新投影回原图比例空间位置处； 特别值得注意的是新版框架内部结构改动使得原本独立存在的分类得分项被融合进了单一向量表示形式里从而减少了维度占用开销由原来的85降至当前状态下的84维长度表达方式更加紧凑高效[^3]. --- #### 6. 示例代码展示 以下是完整的 Python 脚本演示如何加载预训练好的 YOLOv8-seg 权重并针对单张图片实施预测分析功能: ```python from ultralytics import YOLO import cv2 import numpy as np # 初始化模型 model = YOLO('path/to/best.pt') img_path = 'test.jpg' image = cv2.imread(img_path) results = model.predict(image, conf=0.5, iou=0.7)[0] for r in results.masks.xy: seg = np.array(r).astype(np.int32) image = cv2.polylines(image,[seg],True,(255,0,0),2) cv2.imshow("Segmentation Result", image) cv2.waitKey(0); cv2.destroyAllWindows() ``` 上述程序段落实现了读入待检视影像资料送交至先前已完成定制化微调过的神经网络实体当中去获取返回来的各类别特定轮廓线条描绘出来叠加覆盖在初始画面上形成直观可视化成果展现形式便于观察理解整个工作原理机制运作情况[^3]. --- #### 7. 下载资源链接汇总 有关最新版文档手册地址可以访问官方网站或者 GitHub 存储仓库页面查阅相关内容说明材料包括但不限于 API 参考手册、常见问答解答FAQ列表等等实用参考资料[^3]: - [Ultralytics Official Documentation](https://docs.ultralytics.com/) - [GitHub Repository](https://github.com/ultralytics/ultralytics) 另外关于特殊硬件加速方案比如Tensor RT部署指导也可以参阅对应厂商技术支持站点找到匹配自己平台架构的最佳实践案例分享交流经验心得共同进步成长[^1]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值