solr增量索引问题

在配置好与MYSQL的数据源基础上，做增量更新索引，总结如下 1.data-config.xml内容修改为 <dataConfig> <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/demo" user="root" password=""/> <docume...

Solr本地环境1、首先从apache下载最新的solr包，我这里下载到的是4.9的solr包，解压出来以后，把目录下的example文件夹下面所有的文件拷贝到c盘solr目录内，作为solr的运行目录。2、在该目录内新建一个bat文件，内容如下：set TITLE=solrjava -Dsolr.solr.home=C:/solrhome -jar start.jar这个bat文件就可以直接用j...

之前已经介绍过如何使用solr和mysql建立索引，但索引一旦建立，之后新增的数据便不能插入了，除非每次新增数据都重新建立一遍索引，但这样太过耗时费力，故而，本章将介绍如何增量更新索引 1、  找到之前data-config.xml文件，打开并在query后面加入 deltaQuery="select TOPIC_ID,TOPIC_CONTENT from t_topicwhere TOPIC

记一次solr使用问题：生产环境搜索不到某些数据，通过solrAdmin进行精确搜索后，仍无法搜到；后通过接口进行索引生成，solr返回成功但依然搜索不到该数据；然后尝试删除某个索引，依然无效，无奈之下只能重启solr，然后莫名其妙的好了，个人猜测是solr的某些问题导致某些缓存未能成功更新，后续仍会对该问题持续关注与排查~~...

最近发现solrj实现增量索引确实有点麻烦，于是就查找源码，发现内部实现很容易，虽然增量索引需求用的不是很多（不覆盖以前的文档），但也花了很多时间，做个随笔吧。

注：全量索引和增量索引data-config.xml和delta-data-config.xml配置文件默认放在和solrconfig.xml同级目录 solrconfig.xml配置如下： <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">

上一篇里面有增量更新索引 执行完就可以看到D:\search\solr\home\ask\conf下自动生成了一个dataimport.properties文件，里面是最后更新索引时间，就是根据这个时间来达到增量更新的 定时更新索引，还是借鉴以前有位哥们的 http://www.cnblogs.com/ezhangliang/archive/2012/04/11/2441945.html s

首先需要准备的jar包： solr/dist下的solr-dataimporthandler-4.8.1.jar、solr-dataimporthandler-extras-4.8.1.jar 以及需要下载的apache-solr-dataimportscheduler.jar（下载链接： http://pan.baidu.com/s/1hsySs2S） 拷贝到tomcat/webapps/

solr版本：8.x 1.表结构改动，新增字段updateTime用来增量更新的游标，也就是在原来的字段中增加一个更新时间戳的字段，solr利用这个字段来区分哪些数据是已经导入过的，哪些又是新的，同样在dataimport.properties配置文件里面就有对应的更新时间。 表结构： -- solr测试表结构 CREATE TABLE solr_demo ( id int NOT NU...

注：在上一篇的solr增量索引中遇到了一个很大的问题：定时任务一直无法执行，后来找了很多原因，分析日志后发现增量索引的请求都没发送，又经过一番折腾才在网上找到了解决方法，是apache-solr-dataimportscheduler-1.0.jar的一个bug，post请求无法正确发送，这位仁兄的文章真是精华所在，感谢这位仁兄！ Solr Data Import Hander Sche

全量更新 在solr-data-config.xml文件中配置 <dataConfig> <!-- 配置数据源 --> <dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/solrdb?charactorEncoding=utf-8" user="LCY" password="123123"/> &lt

注：在上一篇的solr增量索引中遇到了一个很大的问题：定时任务一直无法执行，后来找了很多原因，分析日志后发现增量索引的请求都没发送，又经过一番折腾才在网上找到了解决方法，是apache-solr-dataimportscheduler-1.0.jar的一个bug，post请求无法正确发送，这位仁兄的文章真是精华所在，感谢这位仁兄！Solr Data Import Hander Scheduler ...

定时增量导入 solr是7.7.3版本 solr启动命令:bin目录下cmd运行solr start solr停止命令:bin目录下 solr stop -p 8983 上图是core位置 上图中data-config.xml是增量和数据同步配置 <dataConfig> <!--dataSource标签配置数据库相关的信息--> <dataSource name = "ds_1" type="JdbcDataSource" driver="com.mysq