用gensim短语发现功能增强jieba中文分词效果

huxuanlai

于 2019-02-13 16:46:35 发布

阅读量875

点赞数

CC 4.0 BY-SA版权

分类专栏：自然语言处理和深度学习

本文链接：https://blog.csdn.net/huxuanlai/article/details/68926072

自然语言处理和深度学习专栏收录该内容

18 篇文章

订阅专栏

本文介绍了一种利用Gensim和jieba库进行中文文本双词短语提取的方法。通过将文本切割并转换为语料库，设置参数以适应小型语料库，然后应用Phrases模型来识别常见双词组合。最终，该方法能有效提升中文文本处理的效率和准确性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import jieba
import gensim

mddesc = ['测试数据库','用户支付表','支付金额','支付用户']
train_corpus = []
for desc in mddesc:
train_corpus.append("/".join(jieba.cut(desc)).split("/"))
train_corpus.append("/".join(jieba.cut(desc)).split("/"))

#set the params(min_count, threshold) carefully when you use small corpus.
phrases = gensim.models.phrases.Phrases(train_corpus, min_count = 1, threshold=0.1)
bigram = gensim.models.phrases.Phraser(phrases)
input = "从用户支付表中选择支付金额大于5的用户。"
inputarr = "/".join(jieba.cut(input)).split("/")
repl = [s.replace("_","") for s in bigram[inputarr]]
print(repl)

参考：

1. https://radimrehurek.com/gensim/models/phrases.html

2. http://www.nltk.org/howto/collocations.html