使用Kafka Connect 導入導出數據


從控制台讀出數據並將其寫回是十分方便操作的,但你可能需要使用其他來源的數據或將數據從Kafka導出到其他系統。針對這些系統, 你可以使用Kafka Connect來導入或導出數據,而不是寫自定義的集成代碼。

Kafka Connect是Kafka的一個工具,它可以將數據導入和導出到Kafka。它是一種可擴展工具,通過運行connectors(連接器), 使用自定義邏輯來實現與外部系統的交互。 在本文中,我們將看到如何使用簡單的connectors來運行Kafka Connect,這些connectors 將文件中的數據導入到Kafka topic中,並從中導出數據到一個文件。

E:/test.txt

修改 E:\kafka_2.11-2.2.0\config

數據同步命令: E:\kafka_2.11-2.2.0\bin\windows  windows版本

connect-standalone.bat E:/kafka_2.11-2.2.0/config/connect-standalone.properties E:/kafka_2.11-2.2.0/config/connect-file-source.properties E:/kafka_2.11-2.2.0/config/connect-file-sink.properties

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM