本里需要基礎知識:【NIFI】 Apache NiFI 安裝及簡單的使用
數據同步
界面如下:
具體流程:
1、使用ExecuteSQL連接mysql數據庫,通過寫sql查詢所需要的數據
2、nifi默認查出來的數據為Avro格式,所以需要ConvertAvroToJSON把Avro格式轉化為json格式的數據
3、使用ConvertJSONToSQL把json數據轉化為sql語句
4、使用PutSQL把數據存入數據庫。
5、同步的數據重復插入數據庫,需要對數據進行更新操作,SplitJson對json進行拆分
6、EvaluateJsonPath提取json中的某個屬性作為參數
7、ReplaceText根據參數編寫update語句進行更新操作
8、PutSQL更新數據庫
傳遞關系時注意:本例僅傳遞成功的數據,失敗的不傳遞
ExecuteSQL
DBCPConnectionPool
ConvertAvroToJSON
ConvertJSONToSQL
PutSQL
SplitJson
EvaluateJsonPath
ReplaceText
PutSQL
連接各個組件,然后啟動所有組件,即可運行
各組件的具體說明請參考官方文檔:http://nifi.apache.org/docs/nifi-docs/