本里需要基礎知識:【NIFI】 Apache NiFI 安裝及簡單的使用
查詢SQL
1、拖入一個 Processor:ExecuteSQLRecord(執行sql記錄)
2、配置,SETTINGS的Automatically Terminate Relationships ,都選上
3、配置,PROPERTIES
a、配置數據庫連接服務(創建數據庫連接服務 -> 添加默認的DBCPConnectionPool -> 設置連接服務 -> 配置數據庫連接信息 -> 激活連接服務)
b、設置SQL select query,語句:Select id,name From user
c、設置Record Writer,記錄服務(創建記錄服務 -> 添加JsonRecordSetWriter -> 編輯JsonRecordSetWriter -> 在JsonRecordSetWriter添加AvroSchemaRegistry -> 編輯AvroSchemaRegistry -> AvroSchemaRegistry添加內容(內容是Avro格式)--> 激活AvroSchemaRegistry -> 激活JsonRecordSetWriter )
編輯JsonRecordSetWriter
AvroSchemaRegistry添加內容
4、拖入一個 Processor:PutFile(輸出)
5、將ExecuteSQLRecord與PutFIle關聯起來,從ExecuteSQLRecord中心點擊,拖拉到PutFIle上
6、啟用2個Processor,可以看到輸出文件夾中新生成了文件,文件內容即數據庫中查出來的數據,是json形式的,如下:
插入SQL
1、拖入一個 Processor:GenerateFlowFile(生成sql語句)
2、編輯GenerateFlowFile,寫入內容
3、拖入一個 Processor:PutSQL(執行sql語句)
4、配置:PutSQL,數據庫連接使用的是上例中的連接池
5、將GenerateFlowFile與PutSQL關聯起來,從GenerateFlowFile中心點擊,拖拉到PutSQL上
6、啟用2個Processor,在數據庫中查看,數據庫中已經有了插入的數據