1、
sqoop export \
--connect jdbc:mysql://127.0.0.1:3306/sqoop_demo \
--username test \
--password test \
--table test_sqoop \
--export-dir /user/hive/warehouse/dws.db/tmp_h2m_demo \
--input-fields-terminated-by "\\01" \
--update-mode allowinsert \
--update-key id
腳本一直卡在map任務上面, 直到卡慢10分鍾,然后顯示任務失敗。但是任務失敗,log沒有顯示任何原因。
后來的后來,才發現原來是hadoop的服務器沒有權限訪問mysql, 將服務器加入白名單后,腳本正常執行。
2、
在sqoop使用export 從hive導出數據到mysql 之前,可以使用 sqoop eval 清空表(當然也可以寫shell腳本,或者其他的方式)
sqoop eval --connect jdbc:mysql://ip:3306/dbname --username ddd --password ppp --query "TRUNCATE TABLE ${truncateTableName}"