python自然语言处理实战学习——2

weixin_46853773

于 2021-04-05 14:56:01 发布

阅读量427

点赞数 2

CC 4.0 BY-SA版权

分类专栏： Python学习文章标签： python

本文链接：https://blog.csdn.net/weixin_46853773/article/details/115370272

本文深入探讨了Python在自然语言处理中的中文分词技术，包括规则分词、统计分词和混合分词，重点介绍了Jieba分词库的工作原理和实践应用。此外，还讨论了词性标注和命名实体识别，如jieba的词性标注功能，以及基于规则和统计的命名实体识别方法。最后，展示了日期和地名识别的实战案例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python自然语言处理实战学习笔记2

第三章中文分词技术

1、在处理中文文本时，需要进行分词处理，将句子转化为此的表达。这个切词处理过程就是中文分词，它通过计算机自动识别出句子的词，在词间加入边界标记符，分割出各个词汇。
中文自动分词被提出以来，主要归纳为“规则分词”，“统计分词”，“混合分词（规则+统计）”这三个主要流派。

2、规则分词——基于规则的分词是一种机械分词方法，主要是通过维护词典，在切分语句时，将语句的每个字符串与词表中的词进行逐一匹配，找到则切分，否则不予切分。

按照匹配切分的方式，主要有正向最大匹配法、逆向最大匹配法以及双向最大匹配法三种方法。

在这里插入图片描述

# -*- coding:utf-8 -*-

class MM(object):
    def __init__(self):
        self.window_size = 3
        
    def cut (self,text):
        result = []
        index = 0
        text_length = len (text)
        dic = ["研究","研究生","生命","命","的","起源"]
        while text_length > index:
            for size in range (self.window_size+index,index,-1):   #4,0,-1
                piece = text[index:size]
                if piece