sqoop 數據從hive導入到mysql 遇到的坑


1、

sqoop export \
--connect jdbc:mysql://127.0.0.1:3306/sqoop_demo \
--username test \
--password test \
--table test_sqoop \
--export-dir /user/hive/warehouse/dws.db/tmp_h2m_demo \
--input-fields-terminated-by "\\01" \
--update-mode allowinsert \
--update-key id

 

 

腳本一直卡在map任務上面, 直到卡慢10分鍾,然后顯示任務失敗。但是任務失敗,log沒有顯示任何原因。

后來的后來,才發現原來是hadoop的服務器沒有權限訪問mysql, 將服務器加入白名單后,腳本正常執行。

 

2、

在sqoop使用export 從hive導出數據到mysql 之前,可以使用 sqoop eval 清空表(當然也可以寫shell腳本,或者其他的方式)

sqoop eval --connect jdbc:mysql://ip:3306/dbname --username ddd --password ppp --query "TRUNCATE TABLE ${truncateTableName}" 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM