sqoop 数据从hive导入到mysql 遇到的坑


1、

sqoop export \
--connect jdbc:mysql://127.0.0.1:3306/sqoop_demo \
--username test \
--password test \
--table test_sqoop \
--export-dir /user/hive/warehouse/dws.db/tmp_h2m_demo \
--input-fields-terminated-by "\\01" \
--update-mode allowinsert \
--update-key id

 

 

脚本一直卡在map任务上面, 直到卡慢10分钟,然后显示任务失败。但是任务失败,log没有显示任何原因。

后来的后来,才发现原来是hadoop的服务器没有权限访问mysql, 将服务器加入白名单后,脚本正常执行。

 

2、

在sqoop使用export 从hive导出数据到mysql 之前,可以使用 sqoop eval 清空表(当然也可以写shell脚本,或者其他的方式)

sqoop eval --connect jdbc:mysql://ip:3306/dbname --username ddd --password ppp --query "TRUNCATE TABLE ${truncateTableName}" 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM