Neo4j與ElasticSearch數據同步


<div class="show-content-free">
        <h1><a name="t0"></a>Neo4j與ElasticSearch數據同步</h1>

針對節點刪除,加了一些邏輯,代碼地址

背景

需要強大的檢索功能,所有需要被查詢的數據都在neo4j。

方案

  • 在Server邏輯中直接編寫。后端有一個Storage類。當有新數據通過RestAPI存入Neo4j時,同時存一份到ElasticSearch
  • 編寫Neo4j插件。Neo4j本身不支持Trigger。但是可以通過插件實現類似功能

方案的選擇采用第二種,原因有二

  • 集中式的數據同步處理,比分散式上層邏輯數據同步處理 穩定性和可維護性更高
  • Neo4j開源倉儲提供了Neo4j-ElasticSearch插件,雖然不滿足我們的需求,但是可以為編寫代碼提供極大的參考。

插件試用

實驗環境: Ubuntu16.04 Docker 17.12.1-ce (由於采用Docker,環境對實驗影響不大)

實驗環境搭建

  • 下載最近版本(3.2.x)的Jar包
wget https://github.com/neo4j-contrib/neo4j-elasticsearch/releases/download/3.2.3/neo4j-elasticsearch-3.2.3.jar

  
  
  
          
  • 啟動ES容器,該插件用的Jest 2.0.2版本。但是我們使用ElasticSearch2.3也沒什么問題
docker run -p 9200:9200 -d --name es elasticsearch:2.3

  
  
  
          
  • 啟動neo4j容器, 並掛載磁盤
docker run -p 7474:7474 -p 7687:7687 -v /home/bonsai/Demo/conf:/var/lib/neo4j/conf  -v /home/bonsai/Demo/plugins:/var/lib/neo4j/plugins --name neo -d  --link es:es neo4j:3.2.3

  
  
  
          
  • cp插件到plugins文件夾
cp neo4j-elasticsearch-3.2.3.jar /home/bonsai/Demo/plugins

  
  
  
          
  • 增加配置 vim /home/bonsai/Demo/conf/neo4j.conf

   
   
   
           
  1. elasticsearch.host_name=http: //es:9200
  2. elasticsearch.index_spec=people:Person(first_name,last_name), places:Place( name)
  • 去除默認密碼修改限制
docker exec neo /bin/bash -c "echo 'neo4j:SHA-256,BC43474518A71BA7BEB54461F769A76195226474BFE892FF2562211DFD8043FA,B6070629C73CE74455674D39D65BA3DF:' > data/dbms/auth"

  
  
  
          
  • 重啟Neo4j容器
docker restart neo

  
  
  
          
  • 驗證neo4j成功加載配置docker exec neo cat /var/lib/neo4j/logs/debug.log | grep elastic
    3981759-d4ff0ff2cb584ba8.png
    成功加載配置

功能使用

在Neo4j-ElasticSearch插件中,引用了index_spec這個配置。具體實現細節下節分析。試用的時候只要知道我們定義了

elasticsearch.index_spec=people:Person(first_name,last_name), places:Place(name)

  
  
  
          

表示會將Person標簽的Node的first_namelast_name屬性存入ES people索引中,會將Place標簽的Node的name屬性存入ES places索引中

節點創建


   
   
   
           
  1. curl - X POST \
  2. http: //localhost:7474/db/data/cypher \
  3. - H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  4. - H 'content-type: application/json' \
  5. -d '{
  6. "query" : "CREATE (n:Person { first_name : {firstname}, last_name: {lastname} }) RETURN n",
  7. "params" : {
  8. "firstname" : "Bonsai",
  9. "lastname": "Y"
  10. }
  11. }
  12. '

成功創建后訪問ES數據庫查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

  
  
  
          
3981759-18582a863aed6a03.png
image.png

修改節點


   
   
   
           
  1. curl - X POST \
  2. http: //localhost:7474/db/data/cypher \
  3. - H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  4. - H 'content-type: application/json' \
  5. -d '{
  6. "query" : "MATCH (n:Person) SET n.first_name = { newfirstname } RETURN n",
  7. "params" : {
  8. "newfirstname" : "new_bonsai"
  9. }
  10. }'

成功修改后訪問ES數據庫查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

  
  
  
          
3981759-7049facc5f64598a.png
修改節點
  • 刪除node

   
   
   
           
  1. curl -X POST \
  2. http:/ /localhost:7474/db /data/cypher \
  3. -H 'authorization: Basic bmVvNGo6bmVvNGo=' \
  4. -H 'content-type: application/json' \
  5. -d '{
  6. "query" : "MATCH (n:Person) Delete n"
  7. }'

成功刪除后訪問ES數據庫查看

curl -X GET 'http://127.0.0.1:9200/people/_search?pretty='

  
  
  
          
3981759-f67c8f854e2433c2.png
刪除節點
      </div>原文地址:https://blog.csdn.net/weixin_43086579/article/details/84801418
                                  </div>


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM