kettle與sqoop的比較


Kettle中有兩種腳本文件,transformation和job,transformation完成針對數據的基礎轉換,job則完成整個工作流的控制。
Sqoop主要用於在Hadoop(Hive)與傳統的數據庫(mysql、postgresql...)間進行數據的傳遞

kettle有圖形化的操作界面,只需要描述你想做什么,而不是你想怎么做。
sqoop沒有圖形化界面,具體的數據流向需要手工配置。

kettle底層使用多線程以提高效率
Sqoop專為大數據批量傳輸設計,能夠分割數據集並創建Hadoop任務來處理每個區塊。

kettle可以利用transformation在數據傳輸過程中對數據的一些轉換處理
Sqoop只是一個用來將Hadoop和關系型數據庫中的數據相互轉移的工具

kettle數據的具體流向可以指定,可以是各種數據的存儲工具
sqoop只是完成hdfs到關系型數據庫 或者 關系型數據庫到hdfs的數據傳輸,在傳輸的過程中保證傳輸數據的類型


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM