科普一下 BPE分词 和 知识蒸馏

于 2025-06-03 06:25:20 发布
阅读量1k 收藏 12
点赞数 27
CC 4.0 BY-SA版权
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011091936/article/details/148390343

我们来分别科普一下 BPE分词 和 知识蒸馏 这两个在自然语言处理（NLP）和深度学习领域非常重要的概念，尽量通俗易懂。

一、 BPE分词 (Byte Pair Encoding)

  • 它是什么？ BPE 是一种数据压缩算法，后来被非常成功地应用在 NLP 的分词（Tokenization） 任务上。它的核心思想是：通过合并出现频率最高的相邻字符对（Byte Pair），逐步构建一个词表（Vocabulary）。

  • 为什么需要它？

    • 传统分词的问题：

      • 按空格/词分（Word-level）： 对于英语可能有效，但无法处理未登录词（OOV），词表会非常大（几十万甚至百万），效率低。对于中文、日语等没有空格的语言也不适用。

      • 按字符分（Character-level）： 词表极小（几十到几百），能处理任何词，但丢失了词的语义信息，序列长度过长，模型学习难度大。

    • BPE的目标： 找到一个折中点！既能有效控制词表大小，又能较好地表示词汇（包括罕见词和拼写变体），并且能处理未见过的词。

  • BPE 如何工作？(核心步骤)
    想象你要压缩一篇英文文章。

    1. 初始化： 将文本拆分成最基本的单元（通常是字符，比如字母、标点符号）。例如，"low" 变成 ['l', 'o', 'w']，"lower" 变成 ['l', 'o', 'w', 'e', 'r']，"newest" 变成 ['n', 'e', 'w', 'e', 's', 't']，"widest" 变成 ['w', 'i', 'd', 'e', 's', 't']。

    2. 统计频率： 统计所有相邻字符对出现的频率。比如，('l', 'o') 出现 2 次（来自 low, lower），('o', 'w') 出现 2 次（来自 low, lower），('e', 's') 出现 2 次（来自 newest, widest），('s', 't') 出现 2 次（来自 newest, widest），其他对出现次数较少。

    3. 合并最高频对： 找出频率最高的相邻字符对，将它们合并成一个新的“符号”（Symbol），加入词表。比如，最高频的是 ('e', 's') 和 ('s', 't')，假设我们先合并 ('e', 's') -> 'es'。现在词表里除了字母，多了一个 es。

    4. 更新文本表示： 用新符号 es 替换文本中所有出现 e 后面紧跟 s 的地方。于是 "newest" 变成 ['n', 'e', 'w', 'es', 't']，"widest" 变成 ['w', 'i', 'd', 'es', 't']。

    5. 迭代： 重复步骤 2-4（统计新文本中的相邻对频率 -> 合并最高频对 -> 更新文本）。比如，现在 ('es', 't') 出现了 2 次（在 newest 和 widest 中），可以合并成 'est'。词表又增加了 est。文本变成 ['n', 'e', 'w', 'est'] 和 ['w', 'i', 'd', 'est']。再比如，如果 ('l', 'o') 频率高，就合并成 'lo'，然后 ('lo', 'w') 再合并成 'low'。

    6. 停止条件： 一直合并，直到达到预设的词表大小（比如 1万, 3.2万）或者没有更多可以合并的字符对。

  • BPE分词的结果：

    • 最终，词表里包含：单个字符 + 所有合并出来的高频子词片段（Subword Units）。

    • 像 "low" 可能被分成了一个词 "low"。

    • 像 "lower" 可能被分成 "low" + "er"。

    • 像 "newest" 被分成了 "new" + "est"。

    • 像 "unfriendly" 可能被分成 "un" + "friend" + "ly"。

    • 一个罕见的词 "tensorflow" 可能被分成 "tensor" + "flow"（如果"tensor"和"flow"在训练数据中高频出现过）。

  • BPE的优势：

    • 平衡词表大小与表示能力： 显著小于词级词表，远大于字符级词表。能在效率和效果间取得平衡。

    • 处理OOV问题： 即使遇到训练时没见过的词，也能通过拆分成已知的子词片段（如 "chatgpt" -> "chat" + "gpt"）来表示，大大减少未登录词。

    • 共享语义： 共享的子词片段（如 "un", "ing", "est"）可以表示相似的含义（否定、进行时、最高级），有助于模型学习形态学和构词法。

    • 跨语言通用性： 不依赖特定语言的空格规则，对中文、日文等同样有效（可以把每个汉字/假名看作一个字符开始合并）。

  • 在LLM中的应用： 几乎所有的现代大语言模型（如 GPT 系列、BERT、LLaMA 等）都使用 BPE 或其变种（如 WordPiece, SentencePiece-Unigram）作为分词器。它是模型处理文本输入输出的第一步。

二、 知识蒸馏 (Knowledge Distillation)

  • 它是什么？ 知识蒸馏是一种模型压缩技术，核心思想是：训练一个庞大、复杂但性能强大的模型（称为“教师模型”），然后利用这个“教师”的“知识”来指导训练一个更小、更简单、更高效的模型（称为“学生模型”）。 目标是让小模型尽可能接近大模型的性能。

  • 为什么需要它？

    • 大模型的痛点： 像 GPT-4、Claude 3 Opus 这样的顶尖大模型性能卓越，但它们计算成本极高（需要顶级GPU集群）、推理速度慢（生成一个回答要好几秒甚至更久）、内存/存储占用大（几十GB甚至更大），这使得它们在手机、嵌入式设备、实时应用等资源受限的场景中难以部署。

    • 小模型的优势： 小模型计算快、内存占用小、能耗低，易于部署。

    • 目标： 能否让小模型也拥有接近大模型的能力？ 知识蒸馏就是为了解决这个问题而诞生的。

  • 核心思想：“知识”是什么？

    • 传统的监督学习只利用训练数据的硬标签（Hard Labels），比如图片分类中“这张图100%是猫”。

    • 知识蒸馏认为教师模型输出的 “软标签（Soft Labels）” 或 “软目标（Soft Targets）” 包含了更丰富的“知识”：

      • 相对关系： 教师模型不仅知道“猫”的概率最高（比如0.9），它还知道“狗”的概率很低（0.05），“狐狸”的概率稍高一点（0.04），“老虎”也有点像（0.01）。这些概率分布反映了不同类别之间的相似性关系（猫更像狐狸/老虎，不太像狗）。这种类别间的相对关系信息是宝贵的“暗知识”（Dark Knowledge）。

      • 不确定性/置信度： 概率值本身也体现了模型对预测的置信度。

    • 这些“软知识”比单纯的“硬标签”（[1, 0, 0, 0] 代表猫）蕴含的信息量要大得多！

  • 知识蒸馏如何工作？(基本流程)

    1. 训练教师模型： 在一个大型数据集上训练一个性能强大的复杂模型（教师）。

    2. 软化教师输出： 让教师模型在训练集（或一个特定数据集）上做预测，得到它的软标签（Soft Labels）。通常会对输出层（Logits）应用一个温度参数（Temperature, T） 来软化概率分布：

      • Softmax(z_i / T)，其中 z_i 是 Logit 值。

      • T=1 是标准Softmax。

      • T > 1 (常用 T=2~10) 会使得概率分布更平滑、更软，不同类别之间的概率差异变小，相对关系信息更凸显。T->无穷 时，所有类别概率趋近于相等。

      • T<1 会使分布更尖锐（接近硬标签）。

    3. 训练学生模型： 学生模型的目标有两个：

      • 模仿软目标（蒸馏损失）： 最小化学生模型的软化输出（同样使用温度 T）与教师模型的软化输出之间的差异（通常用 KL 散度衡量）。这一步让学生学习教师的“暗知识”——类别间的相对关系。

      • 拟合真实标签（学生损失）： 最小化学生模型的标准输出（T=1）与真实硬标签之间的差异（通常用交叉熵）。这一步确保学生模型的基本分类能力。

      • 总损失 = α * 蒸馏损失 + (1 - α) * 学生损失 (α 是一个超参数，平衡两项的重要性)。

    4. 推理： 训练完成后，学生模型在推理时只使用标准 Softmax (T=1)，就像普通模型一样。

  • 知识蒸馏的优势：

    • 模型小型化： 核心目标！获得一个远小于教师模型但性能接近的学生模型。

    • 加速推理： 小模型计算速度快得多。

    • 降低资源需求： 减少内存占用、存储空间和计算能耗。

    • 提升小模型性能： 即使没有部署限制，蒸馏得到的小模型通常也比直接用相同结构和小模型在原始数据上训练效果更好，因为它从教师那里学到了更丰富的知识。

    • 迁移能力： 可以将教师模型在特定任务上的知识迁移给学生模型。

  • 在LLM中的应用：

    • 知识蒸馏是让大语言模型能力“下放”到移动端、边缘设备的关键技术。

    • 例如：

      • DistilBERT： 通过蒸馏 BERT 得到的更小更快的模型，保留了 BERT 95% 的性能。

      • TinyBERT： 专门为 BERT 设计的蒸馏方法。

      • MobileBERT： 针对移动设备优化的 BERT 蒸馏版本。

      • GPT 系列： OpenAI 也使用知识蒸馏等技术来创建更小、更高效的 GPT 模型版本。

    • 除了模型整体蒸馏，还有专门针对 LLM 的任务特定蒸馏（训练一个教师大模型完成特定任务如翻译、摘要，再蒸馏出一个小模型做该任务）和响应蒸馏（让教师模型生成大量高质量回答作为数据，学生模型学习模仿这些回答）。

总结一下：

  • BPE分词： 是一种聪明的“拆词”方法。它通过合并高频字符对来构建词表，让模型能用有限大小的词表高效表示海量词汇（包括新词），是处理文本的基石。

  • 知识蒸馏： 是一种聪明的“教小模型”方法。它让强大的“教师”大模型把自己的“软知识”（类别间关系、置信度）教给“学生”小模型，使得小模型能在资源受限的设备上实现接近大模型的性能。

两者都是现代 NLP，尤其是大语言模型发展和落地不可或缺的关键技术！

欧先生^_^
关注
大模型系列：大模型tokenizer分词编码算法BPE理论简述和实践
qq_24428851的博客
08-05 1317
token是大模型处理和生成语言文本的基本单位，在之前介绍的Bert和GPT-2中，都是简单地将中文文本切分为单个汉字字符作为token，而目前LLaMAChatGLM等大模型采用的是基于分词工具实现的分词编码算法，本节介绍BBPE分词编码作为大模型系列的开篇。常用分词算法简述以中文LLaMA(Atom)为例快速开始BBPEByte-Pair Encoding (BPE) 原理简述Byte-level BPE(BBPE)原理简述使用sentencepiece训练BPE，BBPE。
机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门-附件资源
03-05
机器翻译 bpe——bytes-pair-encoding以及开源项目subword-nmt快速入门-附件资源
【自然语言处理】BPE算法原理与应用：基于SentencePiece的中英文分词及词表优化策略
最新发布
06-27
内容概要：本文主要介绍了字节对编码（BPE）的核心思想及其算法原理，以及BPE在自然语言处理中的应用。BPE通过迭代地合并训练语料中最频繁共现的字节对，逐步构建一个包含常见子词单元的词表，从而实现表示任意单词、控制词表大小和平衡水字符号粒度的目标。文中详细讲解了BPE的初始化、迭代合并、终止条件和最终词表构建过程，并介绍了使用sentencepiece工具包实现BPE分词的具体方法。此外，还探讨了中英文词表大小的选择，并描述了基于torch.utils.data.Dataset的数据预处理流程。最后，文章介绍了日志记录器的作用、代码解析、示例及最佳实践建议，帮助开发者更好地理解和应用日志记录功能。; 适合人群：对自然语言处理、机器学习和深度学习感兴趣的开发者，尤其是有一定编程基础和技术背景的研究人员和工程师。; 使用场景及目标：①理解BPE算法原理及其在文本处理中的应用；②掌握使用sentencepiece工具包实现BPE分词的方法；③学习如何合理配置日志系统，提高系统的可维护性和故障排查效率。; 其他说明：本文不仅提供了理论知识，还结合实际代码示例，帮助读者更好地理解和应用相关技术。建议读者在学习过程中结合代码实践，以加深理解。
深度学习系列28：BPE分词模型
kittyzc的博客
05-17 2031
这个是当前英文分词的标准方法了。 1. 简介 在NLP模型中，输入通常是一个句子，例如I went to New York last week.。传统做法：空格分隔，例如[‘i’, ‘went’, ‘to’, ‘New’, ‘York’, ‘last’, ‘week’]。 BPE算法通过训练，能够把[‘loved’, ‘loving’, ‘loves’]拆分成[“lov”, “ed”, “ing”, “es”]几个部分，这样可以把词的本身的意思和时态分开，有效的减少了此表的数量。算法流程如下： 1）设定最大
基于 BPE 实现的中文分词。优化：预处理，并行计算，多字词，多词表.zip
03-02
人工智能-项目实践-数据预处理
BPE分词
谁谁谁的的的博客
08-17 1109
构建词表： BPE算法通过统计训练语料中字符或子词的频率来构建词表。初始时，将训练语料中的字符或子词作为词表中的初始词汇。数据预处理： BPE算法首先对输入的训练语料进行预处理，将每个词按字符切分为序列，加上特殊符号（如开始符号和结束符号）。分词时，优先匹配较长的子词，当无法继续匹配时，再匹配较短的子词。合并操作： 选择最频繁出现的一对相邻字符或子词进行合并，形成一个新的字符或子词，并更新词表和频率统计。恢复原始文本： 将分词结果中的特殊符号去除，并将字符或子词连接起来，恢复为原始的文本形式。
bpe分词
ltochange的博客
05-25 2185
AAT=(α1α2⋮αn)(α1Tα2T⋯αnT)AA^\mathrm{T}=\left(\begin{array}{c}\alpha_{1} \\ \alpha_{2} \\ \vdots \\ \alpha_{n}\end{array}\right)\left(\begin{array}{llll}\alpha_{1}^{\mathrm{T}} & \alpha_{2}^{\mathrm{T}} & \cdots & \alpha_{n}^{\mathrm{T}}\end{arr
BPE（Byte Pair Encoding）分词算法
weixin_38649779的博客
11-20 708
BPE（Byte Pair Encoding）是一种用于自然语言处理中的分词算法，主要用于预训练语言模型中的子词分割。
BPE分词、LabelSmoothing标签平滑正则化
MCZ777的博客
09-17 1076
BPE(Byte Pair Encoding)分词 BPE是一种根据字节对进行编码的算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。基本思路是将使用最频繁的字节用一个新的字节组合代替，比如用字符的n-gram替换各个字符。例如，假设(‘A’, ‘B’) 经常顺序出现，则用一个新的标志’AB’来代替它们。 Transformer NLP 预训练模型都通过 embedding 词典来表征词义，当遇见没见过的词的时候，以前是用""代替，这样会
【大模型实战篇】大模型分词算法BPE(Byte-Pair Encoding tokenization)及代码示例
源泉的小广场
10-21 2905
大模型、数据预处理、词元化、Tokenization、分词、子词分词器、BPE分词、字节级BPE、Byte-Pair Encoding tokenization、GPT-2、特殊词元、合并规则学习
NLP中的BPE（byte pair encoding）分词算法
qq_43152622的博客
07-22 3790
本篇博客的算法来源的论文是Neural Machine Translation of Rare Words with Subword Units，感兴趣的读者可以自行在Google学术上搜索。 算法提出的问题背景 2016年左右（改论文发表于2016）Neural machine translation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000个词汇，但是对于翻译来说，各种词汇都可能出现（比如英语中的复合词汇，网络新词等），这种限
BPE分词算法逐步详解，超级简单易懂，草履虫都能看懂！
GottenZZP的博客
04-10 799
BPE（Byte-Pair Encoding，字节对编码）是一种NLP中常见的分词方法，核心思想是通过“找规律、合并重复”的方式，把经常一起出现的字符或小片段组合起来，逐步构建一个“词汇表”，然后用该词汇表来拆分任何文本。现在 “u n” 和 “n </w>” 并列最常见（16次），我们随便挑一个，比如合并 “u n” 成 “un”。初始词汇表：[“b”, “g”, “h”, “n”, “p”, “s”, “u”, “</w>”]最常见的字符对是 “u g”，出现了20次。
【NLP】常见的tokenize（分词）方式——Byte Pair Encoding (BPE)
学渣的博客
06-17 2634
参见： https://zhuanlan.zhihu.com/p/424631681
NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】
u013250861的博客
07-11 6377
在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行。英文字符的个数是有限的，基于字符的方式可以有效缓解词表数目过大以及OOV的问题，但由于其粒度太细，丢失了很多单词本身所具有的语意信息。比如说单词"looked"和"looking"会被划分为"look"，"ed”，"ing"，这样在降低词表大小的同时也能学到词的语意信息。为了解决上述问题，基于Subword（子词）的算法被提出，其中的代表就是BPE算法，初始的词表大小为7，其为训练语料中所有出现过的字符。
BPE（Byte Pair Encoding，字节对编码）
weixin_42136827的博客
12-26 881
是一种常用的子词分词算法，在自然语言处理（NLP）中用于将文本分割成更小的单位，例如子词或字符序列。它在基于词的分词和基于字符的分词之间提供了一个平衡，能够提升语言模型的效率和性能。通过使用 BPE，模型能够更好地处理罕见词或未见过的词，同时保持较小的词汇表规模，从而提升整体性能和效率。• BPE 在基于字符和基于词的分词之间提供了平衡，能让模型更高效地处理常见词和罕见词。• 与基于字符的分词相比，BPE 减少了词汇表的大小，同时保持了处理罕见词的灵活性。这个过程可以一直重复，直到达到预设的词汇表大小。
bpe分词算法的原理
devil_son1234的博客
08-26 1827
概述： bpe（bytepair encoding），是一种根据字节对进行编码的算法。主要目的是为了数据压缩，算法描述为字符串里频率最常见的一对字符被一个没有在这个字符中出现的字符代替的层层迭代过程。该算法在论文：https://arxiv.org/abs/1508.07909Neural Machine Translation of Rare Words with Subword Units详细介绍 训练过程： 对于使用子词作为基本单位进行训练的神经机器翻译模型，训练的第一步就是根据语料生成bp..
一文搞懂BPE分词算法
weixin_38877987的博客
06-25 1575
大家好，我是Xueliang，又和大家见面了。 我最近在打机器翻译的一个比赛，主要使用基于BERT的模型。在这其中，一个小的知识点引起了我的好奇，就是在将英语训练语料输入到BERT模型之前，需要对其进行BPE（Byte Pair Encoding）的操作。作为一名合格的算法工程师，当然是要搞清楚其中的原理啦～本篇文章就带大家一起快速搞懂BPE分词算法。 本文主要分成两个部分，内容1500字，阅读耗时大约8分钟： BPE分词算法的由来 BPE分词算法的流程 词表构建 语料编码 语料解码 BPE分词算
dnabert2 bpe分词
02-18
### 使用 DNABERT2 进行 BPE 分词 为了使用 DNABERT2 对 DNA 序列执行字节对编码 (Byte Pair Encoding, BPE) 分词，可以遵循以下方法。此过程涉及安装必要的库并加载预训练模型来处理输入序列。 #### 安装依赖项 首先需要确保环境中已安装 `transformers` 和其他必要包： ```bash pip install transformers biopython torch ``` #### 加载预训练的 Tokenizer 通过 Hugging Face 的 Transformers 库可以直接访问 DNABERT2 的 tokenizer: ```python from transformers import BertTokenizerFast tokenizer = BertTokenizerFast.from_pretrained('zhihan1996/DNABERT-2') ``` 这段代码初始化了一个基于 DNABERT2 预训练权重的分词器[^1]。 #### 准备待分词的数据 对于给定的一条或多条DNA序列字符串，可以通过调用 `encode_plus()` 方法来进行批量处理： ```python sequences = ["ATCGGCTA", "GGTACCAAG"] encoded_sequences = tokenizer(sequences, add_special_tokens=True, padding='max_length', truncation=True, max_length=512, return_attention_mask=True, return_tensors="pt") print(encoded_sequences['input_ids']) ``` 上述脚本展示了如何准备一批 DNA 序列用于后续建模工作流中的进一步操作[^2]。 #### 解码回原始文本形式 如果想要查看经过 BPE 编码后的 token 是什么样子，则可利用 decode 功能反向转换成人类可读的形式： ```python decoded_sequence = tokenizer.decode(encoded_sequences["input_ids"][0], skip_special_tokens=False) print(decoded_sequence) ``` 这会输出带有特殊标记 `[CLS]`, `[SEP]` 等在内的完整解码版本[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值