solr与mysql数据同步的方案

1、使用activeMQ http://blog.csdn.net/zhou2s_101216/article/details/77855413

2、通过配置实现定时同步 http://blog.csdn.net/millery22/article/details/51445964

3、使用Linux的crontab http://blog.csdn.net/zfszhangyuan/article/details/53020897

        http://blog.csdn.net/weixin_37178674/article/details/78844959

5、solr的增量全量同步 https://www.jianshu.com/p/c0b06643a467

6、solr自定义分词器

http://blog.csdn.net/qq_33157666/article/details/76350750

http://blog.csdn.net/WeiJonathan/article/details/18354723

 

7、数据库内容导入solr索引库中：Dataimport插件

https://www.cnblogs.com/anny0404/p/5234367.html

 

框图画的粗糙！勿喷啊！勿喷啊！

回到顶部

配置数据库与solrconfig.xml

Dataimport插件

可以批量把数据库中的数据导入到索引库中。

1.添加jar包

需要的jar包，再solr,目录的dist下，找到solr-dataimporthandler-4.7.0.jar,solr-dataimporthandler-extras-4.7.0.jar，移动到collection1下，lib包，如果没有lib包，自己创建一个即可。

除了这两个包，还需要数据库驱动包，mysql-connector-java-5.1.7-bin.jar，找不到可点击进行下载。同样放到lib包下。

2.修改solrconfig.xml，添加一个requestHandler。

找到collection1/conf目录的solrconfig.xml文件。

 

<requestHandler name="/dataimport"  class="org.apache.solr.handler.dataimport.DataImportHandler">
     <lst name="defaults">
        <str name="config">data-config.xml</str>
     </lst>
</requestHandler> 

 

3.创建一个data-config.xml。目录和solrconfig.xml在同一个目录下collection1\conf

 

<?xml version="1.0" encoding="UTF-8" ?>  
<dataConfig>   

<dataSource type="JdbcDataSource"   
          driver="com.mysql.jdbc.Driver"   
          url="jdbc:mysql://192.168.2.10:3306/lucene"   
          user="root"   
          password="root"/>   
<document>   
    <entity name="product" query="SELECT pid,name,catalog_name,price,description,picture FROM products ">
         <field column="pid" name="id"/> 
         <field column="name" name="product_name"/> 
         <field column="catalog_name" name="product_catalog_name"/> 
         <field column="price" name="product_price"/> 
         <field column="description" name="product_description"/> 
         <field column="picture" name="product_picture"/> 
    </entity>   
</document>   

</dataConfig>

 

数据库url，配置成你自己的数据库地址和数据库名称即可。数据库备份SQL。下载 project.sql

4.配置好后，重启tomcat。访问页面。

Dataimport就配置成功了。下面可以导入数据库数据了。

Command : full-import--全导入  data-import---导入没导入的。

Entity:选择配置文件中定义的product实体进行导入。

点击Execute 即可。执行过程中，可能你会觉得很长时间怎么还没完成。点击 Refresh Status 刷新即可。

导入完毕后进行Query 查询。

 "response": {
    "numFound": 12,
    "start": 0,
    "docs": [
      {
        "product_catalog_name": "惠民特色",
        "product_price": 23.6,
        "product_name": "八珍豆腐饼",
        "id": "1",
        "product_picture": "1.jpg",
        "_version_": 1527658021822398500
      },
      {
        "product_catalog_name": "惠民特色",
        "product_price": 28,
        "product_name": "什锦福包",
        "id": "2",
        "product_picture": "2.jpg",
        "_version_": 1527658022878314500
      },
      {
        "product_catalog_name": "惠民特色",
        "product_price": 18,
        "product_name": "笋尖",
        "id": "3",
        "product_picture": "3.jpg",
        "_version_": 1527658022881460200
      },
      {
        "product_catalog_name": "惠民特色",

完毕！