增量预训练数据获取

最新推荐文章于 2025-08-25 23:42:58 发布
最新推荐文章于 2025-08-25 23:42:58 发布
阅读量944 收藏 7
点赞数 20
CC 4.0 BY-SA版权
文章标签： 人工智能 大模型训练 增量预训练 预训练数据获取 预训练数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42253689/article/details/147636153

上一篇，关于数据量预估中分析到，做增量预训练一个3B模型所需的数据大约为12～15B的tokens。这里我们着手获取这些数据。

欢迎关注公众号看合集 链接: AI沙砾 增量预训练数据获取
在这里插入图片描述

寻找约12B Tokens的高质量、开源、可用的中英文混合预训练数据源是一个实际的挑战，通常需要组合多个来源并进行处理。以下是一些主要的开源数据平台和你可以重点关注的数据集：

主要平台:

  1. Hugging Face Hub (Datasets): https://huggingface.co/datasets
    • 最活跃、资源最丰富的平台之一，包含大量文本数据集，覆盖多种语言和领域。易于使用 datasets 库加载和处理。
  2. ModelScope Hub (魔搭社区): https://modelscope.cn/datasets
    • 阿里巴巴达摩院维护的平台，包含许多中文优质数据集，特别是针对中文NLP任务和预训练。
  3. GitHub:
    • 很多项目会直接在GitHub仓库中发布数据或提供数据的下载链接/脚本。
  4. 原始数据源:
    • 如 Common Crawl, Wikipedia Dumps 等，但需要自行处理和清洗。

推荐的数据集和策略 (目标: ~10.8B 中文 Tokens + ~1.2B 英文 Tokens):

A. 中文数据源 (~10.8B Tokens):

  1. 大规模清洗网页语料 (构成主体，约 4-6B Tokens):
    • SkyPile: 清华大学自然语言处理与社会人文计算实验室（THUNLP）发布的大规模高质量中文网页数据。SkyPile-150B 据称包含150B Tokens，你可以从中采样或使用其一部分。
      • 查找位置: Hugging Face Hub 搜索 “SkyPile” 或相关项目。可能有不同版本或子集。例如 openbmb/skypile-150b (可能需要关注具体使用细节和许可)。
    • OSCAR (Open Super-large Crawled ALMAnaCH coRpus): 大型多语言语料库，包含从 Common Crawl 清洗过的中文部分。
      • 查找位置: Hugging Face Hub (oscar-corpus/OSCAR-2301, oscar-corpus/OSCAR-2201 等，需要筛选 zh 或 zh-cn 子集)。注意OSCAR的版本和清洗程度可能不同。
    • mC4 (multilingual Colossal Clean Crawled Corpus): C4 的多语言版本，包含中文。
      • 查找位置: Hugging Face Hub (mc4, 需要筛选 zh 部分)。
    • WudaoCorpora (悟道语料库): 由北京智源人工智能研究院（BAAI）发布的大规模中文语料库，包含网页、百科、问答等多种类型。部分子集可能在 HF 或 ModelScope 上可获取。
      • 查找位置: Hugging Face Hub / ModelScope 搜索 “WuDaoCorpora”。例如 BAAI/WuDaoCorporaText。需要检查其具体包含的内容和规模。
  2. 百科 (约 1-2B Tokens):
    • 中文维基百科 (Chinese Wikipedia): 高质量的知识来源。
      • 获取方式: ① 直接下载 Wikimedia dumps 处理（需要工具如 wikiextractor）。 ② 使用 Hugging Face Hub 上的预处理版本。
      • 查找位置 (HF): wikipedia 数据集，配置选择 20220301.zh 或类似中文版本 (load_dataset(“wikipedia”, “20220301.zh”))。
  3. 书籍 (约 1.5-2.5B Tokens):
    • 寻找大规模开源中文书籍语料比较困难（版权问题）。
    • MNBVC: 一个社区驱动的中文语音数据集项目，其副产品包含大量文本，其中可能包括书籍和网络文学，但需要仔细筛选。
      • 查找位置: GitHub / Hugging Face Hub (shibing624/mnbvc)。需要检查文本部分的来源和质量。
    • 部分混合语料库（如 WudaoCorpora）可能包含书籍成分。
    • 你可能需要整合多个较小的、公开领域的书籍集合。
  4. 新闻 (约 1-2B Tokens):
    • THUCNews: 清华大学整理的新闻数据集，比较老但常用。
      • 查找位置: 通常通过 GitHub 或其他教育资源链接下载。
    • 特定新闻网站爬取/存档: 需要自行收集或寻找已有的开源集合。
    • 在 HF/ModelScope 搜索 “chinese news dataset”。可能找到如 chinese-news-collection 等，但需评估规模和质量。
  5. 代码 & 技术文档 (约 0.5-1B Tokens):
    • The Stack: BigCode 项目发布的大规模代码数据集，多语言，包含中文注释、文档等。
      • 查找位置: Hugging Face Hub (bigcode/the-stack-dedup)。需要过滤包含中文内容的文件或中文仓库。
    • 从 GitHub 爬取中文项目的 README, Issues, discussions (注意遵守 robots.txt 和 API 限制)。

B. 英文数据源 (~1.2B Tokens):

这部分相对容易获取，可以选择高质量、多样化的来源。

  1. RedPajama-Data-1T: Llama 1 训练数据的开源复现，混合了多种高质量来源。
    • 查找位置: Hugging Face Hub (togethercomputer/RedPajama-Data-1T)。可以从中采样所需数量的 Tokens，例如从 Common Crawl, C4, GitHub, Books, ArXiv, Wikipedia, StackExchange 等部分按比例采样。这是非常推荐的选择，因为它本身就是为预训练设计的混合数据。
  2. The Pile: EleutherAI 创建的另一个大型、多样化的英文数据集。
    • 查找位置: Hugging Face Hub (EleutherAI/the_pile)。同样可以从中采样。
  3. C4 (Colossal Clean Crawled Corpus): Google 清洗的 Common Crawl 数据。
    • 查找位置: Hugging Face Hub (allenai/c4, c4)。选择 en 部分采样。
  4. ·英文维基百科 (·): 高质量知识来源。
    • 查找位置 (HF): wikipedia 数据集，配置选择 20220301.en 或类似英文版本。

关键步骤和注意事项:

  1. Tokenization: 你需要使用 Llama-3.2-3B 的 tokenizer 来精确计算 Token 数量。数据集通常报告的是字符数、词数或使用不同 tokenizer 计算的 Token 数。12B Tokens 是基于你的模型 tokenizer 的目标。
  2. 数据混合: 获取各部分数据后，需要按照你决定的比例 (如 90% 中/10% 英) 和领域分布进行混合。通常会将所有数据源打乱混合在一起。
  3. 数据清洗和去重 (非常重要):
    • 清洗: 即便数据源声称已清洗，也建议进行额外的质量过滤，去除 HTML 标签、格式错误、低信息量文本（如大量重复字符、"lorem ipsum"等）、潜在有害内容。可以使用启发式规则或训练分类器进行过滤。
    • 去重: 在数据集内部和数据集之间进行去重至关重要，可以显著提高训练效率和模型性能。使用 MinHashLSH (如 datasketch 库) 或其他精确/近似去重方法。对长文档进行段落级别或文档级别的去重。
  4. 格式统一: 将所有数据处理成训练框架（如 transformers Trainer）期望的格式，通常是 JSON Lines 文件，每行一个 JSON 对象，包含一个文本字段 (e.g., {“text”: “…”})。
  5. 许可协议: 仔细检查每个数据集的许可协议，确保你的使用方式符合要求（特别是商业用途）。
  6. 迭代和评估: 数据集构建是一个迭代过程。你可能需要从小规模数据开始试验，评估效果，然后逐步扩展和优化数据组合。

总结:

  • Hugging Face Hub 和 ModelScope 是你主要的搜索平台。
  • 对于中文数据，优先考虑 SkyPile, OSCAR/mC4 (中文部分), 中文 Wikipedia, The Stack (中文部分)。书籍和新闻可能需要整合多个来源或依赖大型混合语料中的成分。
  • 对于英文数据，从 RedPajama-Data-1T 或 The Pile 采样是高效且高质量的选择。
  • 数据处理（清洗、去重、Token 统计、混合） 是构建最终 12B Tokens 训练集的关键环节。

这个过程需要投入相当的精力进行数据收集、处理和验证。

大模型参数高效微调之增量预训练
comli_cn的博客
02-11 171
所以要想大模型有领域知识，得增量预训练（靠指令微调记知识不靠谱，不是几十w条数据能做到的）。
【大模型Pre-Training实战总结】实现Qwen3增量预训练，Lora训练与合并
m0_47867638的博客
05-26 282
大模型一般分三个阶段（现在有很多个阶段的，比如DeepSeek），首先要完成的是Pre-Training阶段。预训练是指在大量无标签数据上进行训练，使模型学习到一些基础的语言表示和知识。常见的预训练方法包括自回归语言模型（如GPT系列）、自编码器等。这些方法通过在大规模语料库上训练，使模型能够理解语言的语法、语义和上下文信息。这篇文章试图告诉大家如何去实现增量Pre-Training。
对一个3B大模型做增量预训练所需数据预估
咖乐部
04-23 500
关于模型规模（3B参数）、训练方式（LoRA + 全量Emb/LM-Head）与预训练数据量之间的关系，目前的研究确实存在一些。Scaling Laws 采用LoRA + 全量emb:lm-head的训练方式，达到充分训练需要多少预训练数据？OpenAI的原始Scaling Laws（Kaplan et al., 2020）指出，和实证经验可供参考。，而LoRA+部分微调会改变数据需求。对于3B模型，理论最优数据量约为。
一起学Hugging Face Transformers（12）- 什么是预训练（Pre-training）
一起来研究langchain和langchain-chatchat
07-07 1289
预训练（Pre-training）是大模型开发中的一个重要概念，它指的是在大量通用数据上训练一个模型，使其学习广泛的知识和语言模式。这个过程在实际应用中非常关键，因为它为模型提供了一个强大的基础，使其能够更好地适应后续的特定任务。预训练是指在特定任务之前，先在一个大规模的、通用的文本数据集上训练一个模型。这些通用数据集可以包括维基百科文章、新闻报道、书籍内容等。通过在这些数据上训练，模型能够学习到丰富的语言结构和语义知识。
大模型增量预训练新技巧：解决灾难性遗忘
2201_75499313的博客
02-03 3282
该方法主要通过增加恒定块扩展模型层数，使模型在增量训练过程中仅训练新增层、冻结原始层，保持模型原有能力，防止模型出现灾难性遗忘现象。但有两点存疑：目前来说mistral要好于llama，为啥不用mistral进行实验不用恒定块，性能会差多少。
基于llama模型进行增量预训练
热门推荐
yuyangchenhao的博客
06-19 1万+
大家知道AI模型是怎么训练出来的吗？AI模型的训练训练过程分为如下三个阶段第一个阶段叫做无监督学习（PreTraining），就是输入大量的文本语料让GPT自己寻找语言的规律， 这样一个巨大的词向量空间就形成了，但是话说的漂亮并不一定正确。第二个阶段叫做监督学习(Supervised Fine-Tuning,也叫微调)，就是人工标注一些语料，教会GPT什 么该说，什么不该说。（训练数据集）
大模型Pre-Training实战解析：实现Qwen3增量预训练
AI浩
05-22 1653
大模型一般分三个阶段（现在有很多个阶段的，比如DeepSeek），首先要完成的是Pre-Training阶段。预训练是指在大量无标签数据上进行训练，使模型学习到一些基础的语言表示和知识。常见的预训练方法包括自回归语言模型（如GPT系列）、自编码器等。这些方法通过在大规模语料库上训练，使模型能够理解语言的语法、语义和上下文信息。这篇文章试图告诉大家如何去实现增量Pre-Training。
增量预训练（Pretrain）样本拼接篇
Java架狗师知识框架速查表
11-24 1982
本文讨论了在增量预训练（Pretrain）阶段，为了提高训练效率和拓展LLM最大长度，常见的样本拼接方法。介绍了四种拼接方式：Random Concatenate、Random Concatenate + NoiseMask、Random Concatenate + Cluster和IN-CONTEXT PRETRAINING。每种方法都有其优缺点，如Random Concatenate可能导致噪音共现，NoiseMask限制了相对位置信息的反馈，Cluster面临信息重复和泄露问题，而IN-CONTEXT
大模型——增量预训练
cancer_s的博客
01-23 1493
预训练学知识，指令微调学格式，强化学习对齐人类偏好；所以要想大模型有领域知识，得增量预训练。
食品检测领域的大型语言模型FoodGPT：基于增量预训练与知识图谱的应用
01-24
考虑到食品检测领域的独特性质，即大部分专业知识以图像、扫描文档以及结构化数据形式存在而非传统的纯文本数据，研究人员并未简单地对基础模型做指令微调而是增加了增量预训练步骤。具体而言，他们运用光学字符识别...
硬件开发_基于STM32单片机的护眼语音台灯系统
weixin_45732499的博客
08-25 171
本文介绍了一种智能护眼语音台灯系统的设计与实现。该系统具备语音控制、超声波测距和距离报警三大功能，采用STM32F103C8T6单片机作为主控，搭配HC-SR04超声波模块和LU-ASR01语音识别模块。电路设计包含最小系统、测距、语音识别、按键设置和蜂鸣器报警模块。程序设计通过UART串口通讯实现功能整合，支持自定义距离阈值，当检测距离过近时会触发蜂鸣器报警，提醒用户保持适当距离，实现智能护眼功能。系统具有操作便捷、响应灵敏的特点。
Agentic AI 知识框架整理
形上得其象，形下合于数；阴阳自济，玄理自明。
08-23 947
其战略价值在于将人类从复杂的、多步骤的认知劳动中解放出来，极大提升知识工作的效率与创新上限，是迈向通用人工智能（AGI）的核心路径。它不再是“你问我答”的聊天机器人，而是能。Agentic AI 的发展正遵循典型的。Agentic AI 的终极目标是创建能。
【笔记】动手学Ollama 第七章 搭建本地RAG
ReedFoley的博客
08-22 977
正文详见：7.3 使用 LangChain 搭建本地 RAG 应用。
数据库审计是什么？主要功能详解与厂商解析
yuandiansec的博客
08-21 1077
数据库审计
Science Robotics 通过人机交互强化学习进行精确而灵巧的机器人操作
weixin_44887311的博客
08-23 868
本文提出了一种基于强化学习（RL）的机器人操作系统HIL-SERL，通过集成预训练视觉模型、样本高效算法和人机交互修正机制，可在1-2.5小时内完成复杂操作任务的训练。该系统在叠叠乐抽块、物体翻转、设备组装等任务中表现优异，平均成功率提升101%，执行速度提高1.8倍，显著优于模仿学习和传统控制方法。研究表明RL可直接在现实环境中高效学习视觉操控策略，为工业应用提供了新思路。
Paddle3D-PETRv1 精度测试与推理实践指南
Hi20240217的博客
08-22 1422
本文介绍了在Paddle3D中使用PETRv1模型进行3D物体检测的完整流程。首先通过Docker配置标准测试环境，安装Paddle3D并下载预训练权重。然后准备NuScenes迷你数据集，生成所需的注解文件。接着对原始模型进行精度测试，获取mAP、NDS等关键指标。最后将训练好的模型导出为推理格式，便于后续部署。文章详细说明了每个步骤的操作命令和参数含义，特别对精度测试结果中的各项指标进行了专业解读，帮助读者理解模型性能评估标准。整个流程涵盖了从环境搭建到最终模型导出的全链路操作，为3D目标检测任务提供了
深度学习分类网络初篇
最新发布
qq_43129538的博客
08-25 688
本文回顾了深度学习的发展历程，从1943年的人工神经元模型到2012年AlexNet的突破性进展，展现了神经网络的三起两落。重点解析了深度学习基础概念，包括神经网络的基本组成（输入层、隐藏层、输出层）和核心组件（激活函数、损失函数）。通过代码示例展示了感知机、多层感知机等经典模型的实现，以及不同激活函数的特性对比。文章为理解深度学习分类网络提供了系统性的入门指南，适合不同基础的读者学习参考。
快速了解深度学习
wzdzgdf的博客
08-22 671
在人工智能的浪潮中，“深度学习” 无疑是最热门的词汇之一。从手机里的人脸识别到语音助手，从自动驾驶汽车到医疗影像诊断，深度学习技术正悄然改变着我们的生活。
大模型增量预训练加微调难点
02-18
### 增量预训练与微调中的主要挑战 #### 高质量数据获取困难 对于垂直化训练而言，获得并处理大量的高质量专业领域数据是一项艰巨的任务。这些数据不仅数量庞大，而且需要具备高度的相关性和准确性来支持模型的有效训练[^1]。 #### 平衡特定能力和通用性能 当致力于提高某一具体领域的效能时，如何确保不会削弱该模型在其他广泛任务上的表现也是一个重要考量因素。这意味着任何针对特殊应用场景所做的优化都应当谨慎实施，以免影响其跨行业的适用范围。 #### 资源消耗巨大 相比起构建一般性的AI系统来说，在某个专门方向上深入挖掘往往意味着更高的成本支出——无论是人力方面还是物质条件上皆然如此。特别是涉及到复杂的数据清洗、标注以及后续维护工作时更是如此。 #### 模型持续更新的需求 随着行业环境和技术趋势的变化，原有的专业知识可能会变得过时或不再完全适用；因此，为了维持最佳的服务水平，就必须定期对企业内部积累的新资料加以利用，并据此调整现有算法结构及其参数设置[^2]。 --- ### 解决方案概述 #### 利用Scaling Laws指导资源配置 基于对scaling laws的研究成果表明，适当扩大神经网络架构尺寸（如增加层数/节点数）、扩充样本集容量均有助于改善最终产出的质量。遵循这一原则可以帮助决策者更加科学合理地分配有限的研发预算给到最有可能带来回报的地方去。 #### 实施Compute-Optimal策略 按照compute-optimal理论建议的比例同步扩展输入素材的数量级和权重矩阵维度，则可以在一定程度上缓解因硬件设施不足而导致的时间延迟现象发生频率过高问题，从而加快整个开发周期进度条向前推进速度。 #### 推动Domain Continue Pretraining 考虑到基础版本可能存在某些局限性无法很好满足实际应用场合下的多样化诉求，故而有必要选取合适的初始状态作为起点继续开展针对性更强的再教育过程。此做法既有利于继承先前所学到的知识经验又便于引入新鲜血液注入其中实现双赢局面[^4]。 #### 应用检索增强生成技术 面对动态变化着的企业运营状况所带来的不确定性风险，采用类似于retrieval-augmented generation (RAG) 的框架或许不失为一种明智的选择。它允许机器一边查询外部数据库寻找最新资讯补充进来，另一边则依据当前上下文语境灵活组合成连贯表达形式输出给用户端查看参考使用[^3]。 ```python def domain_continue_pretrain(model, new_data): """ 对已有模型进行领域内增量预训练 :param model: 已有大语言模型实例 :param new_data: 新增的专业领域数据集合 """ # 更新词典以适应新词汇 update_vocab(model.vocab, new_data) # 使用新增数据进一步训练模型 train_model(model, new_data) def retrieval_augmented_generation(query, knowledge_base): """ 结合检索机制辅助生成回复 :param query: 用户提出的询问字符串 :param knowledge_base: 可供查阅的信息库对象 """ retrieved_info = search(knowledge_base, query) response = generate_response(retrieved_info + context_from_query(query)) return response ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值