【NIFI】 實現數據庫到數據庫之間數據同步


  本里需要基礎知識:【NIFI】 Apache NiFI 安裝及簡單的使用

數據同步

  界面如下:

    

  具體流程:

    1、使用ExecuteSQL連接mysql數據庫,通過寫sql查詢所需要的數據

    2、nifi默認查出來的數據為Avro格式,所以需要ConvertAvroToJSON把Avro格式轉化為json格式的數據

    3、使用ConvertJSONToSQL把json數據轉化為sql語句

    4、使用PutSQL把數據存入數據庫。

    5、同步的數據重復插入數據庫,需要對數據進行更新操作,SplitJson對json進行拆分

    6、EvaluateJsonPath提取json中的某個屬性作為參數

    7、ReplaceText根據參數編寫update語句進行更新操作

    8、PutSQL更新數據庫

  傳遞關系時注意:本例僅傳遞成功的數據,失敗的不傳遞

  ExecuteSQL

    

  DBCPConnectionPool

    

  ConvertAvroToJSON

    

  ConvertJSONToSQL

    

  PutSQL

    

  SplitJson

    

  EvaluateJsonPath

    

  ReplaceText

    

  PutSQL

    

  連接各個組件,然后啟動所有組件,即可運行

 

各組件的具體說明請參考官方文檔:http://nifi.apache.org/docs/nifi-docs/

  

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM