tokenizer 中num_words 遇到的问题

禅衣

于 2021-10-09 00:13:47 发布

阅读量622

点赞数

CC 4.0 BY-SA版权

分类专栏： keras 积累文章标签：深度学习 python

本文链接：https://blog.csdn.net/AlanxZhang/article/details/120662453

keras 积累专栏收录该内容

6 篇文章

订阅专栏

本文通过实例解析了Keras Tokenizer中num_words参数的设置对输出序列的影响，强调了嵌入层输入维度调整的重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

举个例子：

In [1]: from keras.preprocessing.text import Tokenizer
In [2]: texts = ['a a a', 'b b', 'c']
In [3]: tokenizer = Tokenizer(num_words=2)
In [4]: tokenizer.fit_on_texts(texts)
In [5]: tokenizer.word_index
Out[5]: {'a': 1, 'b': 2, 'c': 3}
In [6]: tokenizer.texts_to_sequences(texts)
Out[6]: [[1, 1, 1], [], []]

在程序中num_words=2，基于keras文档所示

num_words: 需要保留的最大词数，基于词频。只有最常出现的 num_words 词会被保留。

因此我们预想的输出是

[[1,1,1],[2,2],[]]

但是事实上不是这样的

原因如下：

在embedding_layer = Embedding(num_words +1, ....) 中输入的维度是num_word+1，因此在tokenizer.texts_to_sequences（）输出时，应是num_words-1，这样输入进入embeding layer时会在输出的维度上+1。