DecafTea的博客

BERT分词摘自：https://blog.csdn.net/u010099080/article/details/102587954BERT 源码中 tokenization.py 就是预处理进行分词的程序，主要有两个分词器：BasicTokenizer 和 WordpieceTokenizer，另外一个 FullTokenizer 是这两个的结合：先进行 BasicTokenizer 得到一个分得比较粗的 token 列表，然后再对每个 token 进行一次 WordpieceTokenizer，

文章转载自：https://www.cnblogs.com/aloiswei/p/11567616.htmljieba分词有三种模式：全模式、精确模式、搜索引擎模式。全模式和精确模式通过jieba.cut实现，搜索引擎模式对应cut_for_search，且三者均可以通过参数HMM决定是否使用新词识别功能。...