solr ik分词器的使用与数据导入

Solr使用IK中文分词器优化查询

最新推荐文章于 2024-02-07 00:39:01 发布

原创最新推荐文章于 2024-02-07 00:39:01 发布 · 417 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#solr

博客介绍了使用分词器的原因，传统分词器将搜索内容分字影响查询效果。阐述了Solr倒排索引原理，与数据库正排索引不同。重点讲解了IK中文分词器的使用，包括下载、放置架包、创建文件夹、复制文件、修改配置文件等步骤，重启服务器和重新导入数据后可优化查询效果。

1.使用分词器的原因：
传统分词器是将搜索内容分成一个个字，这样会影响查询效果，
举例：查询“蛋糕”
但是查询结果会有“鸡蛋饼”这种情况
在这里插入图片描述
solr原理就是倒排索引
数据库是正排索引
倒排索引与正排索引讲解
2。IK中文分词器
下载地址

2.2将架包放在solr-8.2.0\server\solr-webapp\webapp\WEB-INF\lib
这个文件夹下
2.3在solr-8.2.0\server\solr-webapp\webapp\WEB-INF这个文件夹下创建classes 文件夹，
2.4右击下载的架包
在这里插入图片描述
把这五个文件复制到classes 文件夹中，
2.5打开solr-8.2.0\server\solr\product\conf中的managed-schema文件寻找fieldType标签添加如下

<!-- ik分词器 -->
<fieldType name="text_ik" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

如图：
在这里插入图片描述
2.6重启solr

2.7刷新网页即有了“text_ik”分词器
在这里插入图片描述
如图效果出来了，不会将中国分为两个单独的汉字，
2.7将text_general改变成text_ik

2.8删除原先导入的数据

<delete>
<query>id:68</query>
</delete>
<commit/>

在这里插入图片描述
2.9重启solr 服务器重新导入数据
查询，效果如图