NLP实用小工具Tokenizer和pad_sequences进行文本的数字编码和长度填充或截断

最新推荐文章于 2025-05-25 22:26:07 发布
原创 最新推荐文章于 2025-05-25 22:26:07 发布 · 1.4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理

本文介绍了如何使用Keras库中的Tokenizer和pad_sequences函数，实现文本数据的词汇编码和长度标准化，包括词ID生成、填充与截断操作，这对于NLP任务中的序列处理至关重要。

NLP任务中经常需要把词语转换成数字ID，然后又要统一文本长度，不够的填充0，多出的部分需要截断，keras里面自带了这样的功能模块如下。

from keras.preprocessing.sequence import pad_sequences
from keras.preprocessing.text import Tokenizer

具体使用效果如下

from keras.preprocessing.sequence import pad_sequences
from keras.preprocessing.text import Tokenizer

mx_length = 10#文本最大长度为10

text = [['我','爱','中国'],
     ['我','爱','科学'],
     ['深度','学习','很','有趣'],
     ['机器','学习','常见','的','模型','有','SVM']]
print('文本内容=')
print(text)
tokenizer=Tokenizer()  #创建一个Tokenizer对象
tokenizer.fit_on_texts(text)#直接读入文本进行词的ID获取
vocab=tokenizer.word_index #得到每个词的编号
x_train_word_ids=tokenizer.texts_to_sequences(text)#开始对text里面的每个汉字进行编号
print('编号结果=')
print(x_train_word_ids)
'''
padding='pre'表示从前面填充
padding='post'表示从后面填充
truncating='pre'表示从前面截断
truncating='post'表示从后面截断
'''
x_train_padded_seqs=pad_sequences(x_train_word_ids,maxlen=mx_length,padding='post',truncating='post') #将超过固定值的部分截掉，不足的用0填充
print('填充结果=')
print(x_train_padded_seqs)

运行结果
在这里插入图片描述

Tokenizer Viewer：新手入门NLP的神器，可视化理解文本处理的秘密
Ven%的博客
06-04 113
Tokenizer Viewer将枯燥的文本处理转化为探索游戏。当你能亲眼看到同一个词在不同模型中的切分方式特殊字符如何被编码词表大小对分词的影响你已经在理解NLP核心机制的道路上超越了80%的初学者。立即行动运行./start.sh输入你的第一句文本开始探索！在NLP的世界里，眼见为实的理解比死记概念重要百倍。Tokenizer Viewer就是你的第一台显微镜。
自然语言处理之文本生成：Transformer：位置编码与Transformer
最新发布
zhubeibei168的博客
05-26 568
在自然语言处理（NLP）领域，传统的序列模型如循环神经网络（RNN）和长短期记忆网络（LSTM）在处理长序列时存在效率问题，因为它们依赖于序列的顺序处理，这限制了并行计算的能力。为了解决这一问题，2017年，Google的研究人员提出了Transformer模型，它完全基于自注意力机制（self-attention mechanism），能够并行处理输入序列，显著提高了训练速度和模型性能。Transformer模型通过引入自注意力机制和位置编码，解决了传统序列模型在处理长序列时的效率和性能问题。
tensorflow2.0使用keras的Tokenizer文本预处理
smallworldxyl的博客
09-23 2663
tokenizer = Tokenizer(num_words=max_words) # 只考虑最常见的前max_words个词 tokenizer.fit_on_texts(texts) #使用一系列文档来生成token词典，texts为list类，每个元素为一个文档 sequences = tokenizer.texts_to_sequences(texts) # 将多个文档转换为word下标的向量形式,shape为[len(texts)，len(text)] – (文档数，每条文档的长度) .
纯Python实现！更纯粹、更高压缩率的Tokenizer
Paper weekly
09-08 1036
©PaperWeekly 原创 · 作者 |苏剑林单位 |科学空间研究方向 | NLP、神经网络目前在 LLM 中最流行的 Tokenizer（分词器）应该是 Google 的 SentencePiece [1] 了，因为它符合 Tokenizer 的一些理想特性，比如语言无关、数据驱动等，并且由于它是 C++ 写的，所以 Tokenize（分词）的速度很快，非常适合追求效率的场景。然而，它也...
Keras.preprocessing.sequence.pad_sequences 函数详解
泛红尘的博客
08-29 1599
函数是 Keras 库中用于对序列数据进行填充的函数。本文介绍了函数的历史、优点和与其他方法的不同之处，并给出了具体的使用示例以及函数的参数说明。通过使用该函数，我们可以简化序列数据的填充操作，提高数据处理的效率。
Tokenizer 是一种用于将文本分割成更小的单元（称为“tokens”）的工具。在自然语言处理（NLP）中
BLOG域名:programb.blog.csdn.net
12-18 591
在自然语言处理（NLP）中，Tokenizer 扮演着非常重要的角色，因为它是许多 NLP 任务的第一步，如情感分析、命名实体识别和机器翻译等。而在中文中，由于没有明显的词界标记，Tokenizer 需要使用更复杂的算法，如基于词典的方法或统计模型，来正确地切分词语。在自然语言处理（NLP）中，Tokenizer的主要作用是将文本分割成更小的单元，这些单元称为tokens。Tokenizer在自然语言处理（NLP）中的作用是将文本数据分解成更小的单元，这些单元被称为“令牌”或“标记”。
HuggingFace学习1：tokenizer学习与将文本编码为固定长度（pytorch）
呆萌的代Ma
03-28 7135
首先需要安装transformers： pip install transformers 以bert-base-uncased为例，进入网站：https://huggingface.co/bert-base-uncased/tree/main，可以看到这个模型的所有文件，下载： config.json pytorch_model.bin vocab.txt 这三个文件，然后放到本地叫：bert_model的文件夹下 加载预训练模型 然后在同一目录创建python文件，测试一下读取模型： from tr
深度学习：自然语言处理（Tokenizer和pad_sequences）
weixin_50663922的博客
11-21 778
自然语言处理（Tokenizer和pad_sequences）
自然语言处理之文本生成：Gated Recurrent Unit (GRU)：GRU模型详解
zhubeibei168的博客
05-20 855
文本生成是自然语言处理（NLP）领域的一个重要任务，涉及使用机器学习模型来创建新的、连贯的文本。这一任务在多个场景中都有应用，如自动写作、聊天机器人、代码生成等。文本生成的核心在于模型能够理解语言的结构和语义，并基于此生成新的内容。在深度学习时代，循环神经网络（RNN）及其变种，如长短期记忆网络（LSTM）和门控循环单元（GRU），成为了文本生成任务的主流模型。这些模型能够处理序列数据，捕捉长期依赖关系，非常适合处理文本这样的序列信息。
自然语言处理之文本分类：Recurrent Neural Networks (RNN)：文本分类中的数据预处理
zhubeibei168的博客
05-13 769
序列模型在自然语言处理(NLP)中扮演着关键角色，它们能够处理具有时间顺序或序列依赖性的数据。在NLP中，文本数据通常以序列形式存在，每个单词或字符都是序列中的一个元素。序列模型能够捕捉这些元素之间的顺序关系，从而在诸如文本分类、情感分析、机器翻译和语音识别等任务中表现出色。RNN在文本分类中的应用依赖于有效和细致的数据预处理。通过将文本转换为序列，并使用词嵌入和序列填充等技术，RNN能够捕捉文本中的顺序信息，从而提高分类的准确性。在实际应用中，选择合适的预处理方法和模型参数对于获得良好的分类结果至关重要。
自然语言处理之文本生成：Transformer：Transformer在文本分类中的应用
zhubeibei168的博客
05-25 566
NLP领域中，有许多经典模型被广泛使用，它们为理解和生成自然语言提供了基础。Transformer模型是自然语言处理领域的一个重要突破，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。它摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）的序列依赖性，采用自注意力机制（Self-Attention）处理输入序列，极大地提高了训练效率和模型性能。
NLP——Tokenizer
行者无疆的博客
11-20 7843
1.什么是Tokenizer   使用文本的第一步就是将其拆分为单词。单词称为标记（token），将文本拆分为标记的过程称为标记化(tokenization)，而标记化用到的模型或工具称为tokenizer。Keras提供了Tokenizer类，用于为深度学习文本文档的预处理。 2.创建Tokenizer实例 from keras.preprocessing.text import Tokenizer tok = Tokenizer() 3.学习文本字典 ##假设文本数据为： docs = ['good
机器翻译 & 数据集 (NLP基础 - 预处理 → tokenize → 词表 → 截断/填充 → 迭代器) + 代码实现 —— 笔记3.9《动手学深度学习》
科研汪小陈的主页：https://chensuzeyu.github.io
11-23 1544
序列转换模型在各类现代人工智能应用中发挥着至关重要的作用， 因此我们将其做为本章剩余部分和attention机制章节的重点！机器翻译指的是将文本序列从一种语言自动翻译成另一种语言。 使用单词级词元化时的词表大小，将明显大于使用字符级词元化时的词表大小。为了缓解这一问题，我们可以将低频词元视为相同的未知词元。 通过截断和填充文本序列，可以保证所有的文本序列都具有相同的长度，以便以小批量的方式加载。
NLP————VocabularyProcessor进行词表创建和原数据填充
coder_Gray的博客
01-14 2973
在进行NLP相关编码时，将文本进行序列化编码是一个必要的环节（word->id），之前自己一直是自己手写代码构造词表并给句子进行填充，后来网上看到一个神仙函数两句语句就能完成构造词表vocab和句子填充，就是我们今天的主角VocabularyProcessor函数。函数参数如下： from tensorflow.contrib import learn vocal = learn.pr...
tokenizer函数的参数truncation=True是什么意思
kewei chen
04-22 6175
如果 truncation=True,那么 tokenizer 会根据几个规则进行截断:1. 首先删除输入序列的中间部分,只保留前后 max_length/2 的标记。2. 然后继续删除前面或后面的标记,直到保留的标记数量等于 max_length。3. 在截断的过程中,tokenizer 会尽量保留输入序列的结构,不截断词与词之间的关系。所以,truncation=True 的作用就是允许我们的 tokenizer 进行这样的截断操作,这样我们就可以将任意长度的输入文本处理成我们想要的长度了。
深度学习：补充内容：自然语言处理（Tokenizer和pad_sequences）
weixin_50663922的博客
11-22 533
补充内容
sequence.pad sequences（）解释一下
weixin_35749545的博客
12-17 846
sequence.pad_sequences() 是一个用于将输入序列标准化长度的函数，它属于 Python 机器学习库 Keras 中的序列处理工具。 该函数可以对一个列表中的多个序列进行填充，使得所有序列的长度都相同。它通常用于在将序列输入到神经网络之前将序列标准化到统一的长度，以便模型能够处理它们。 pad_sequences() 函数接受两个必需参数： sequences：要填充的序列，...
Tokenizer使用（以BertTokenizer为例）
Blue&boke
06-29 1626
【代码】Tokenizer使用（以BertTokenizer为例）
Bert的文本编码tokenizer、分隔符(MASK/CLS/SEP)编码
热门推荐
凝眸伏笔的博客
08-02 3万+
1.文本编码 bert模型的输入是文本，需要将其编码为模型计算机语言能识别的编码。这里将文本根据词典编码为数字 2.分隔符编码 特殊的分隔符号： [MASK] ：表示 需要带着[]，并且mask是大写，对应的编码是103 [SEP]: 对应的编码是102 [CLS]:对应的编码是101 []:对应的编码是 eg： from transformers import BertTokenizer bert_name = 'bert-base-chinese' tokenizer = ..
Setting `pad_token_id` to `eos_token_id`:None for open-end generation.
01-17
### 设置 `pad_token_id` 为 `eos_token_id: None` 的含义 在自然语言处理模型中，`pad_token_id` 和 `eos_token_id` 是用于序列填充和结束标记的重要参数。当 `pad_token_id` 被设置为 `eos_token_id: None` 时，这意味着不使用特定的结束符作为填充符号。 对于开放生成任务而言，这种配置意味着生成过程不会依赖于预定义的结束标志来终止生成序列[^1]。具体来说： - **无显式的结束标记**：由于 `eos_token_id` 设定为 `None`，模型无法识别何时应该停止生成新的 token。 - **影响生成长度控制**：这可能导致生成文本无限延续直到达到最大长度限制或其他外部条件触发停止机制。 #### 对开放生成的影响 在这种情况下，生成行为会表现出如下特点： - **难以预测的输出长度**：因为缺乏明确的结束信号，每次运行可能会得到不同长度的结果，增加了结果多样性但也可能引入不必要的冗余信息。 - **潜在的质量下降风险**：如果生成过程中缺少有效的终止策略，则容易产生不合逻辑或语义连贯性较差的内容片段。 为了更好地管理这种情况，在实际应用中通常建议设定合理的最大解码步数(max_length)，并考虑采用其他方法如基于概率阈值提前截断等手段来改善最终效果。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("model_name") model = AutoModelForCausalLM.from_pretrained("model_name") # Set pad_token_id to eos_token_id which is None here. if tokenizer.eos_token_id is not None: model.config.pad_token_id = tokenizer.eos_token_id input_ids = tokenizer.encode("Your prompt text.", return_tensors='pt') output_sequences = model.generate( input_ids=input_ids, max_length=50, # Limit the maximum length of generated sequence ) print(tokenizer.decode(output_sequences[0], skip_special_tokens=True)) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值