sqoop导入hdfs时指定num-mappers参数


num-mappers可以指定mapper运行计算数量,当指定为1时,可以不用设置split-by参数,不指定num-mappers时,默认为4,当不指定或者num-mappers大于1时,需要指定split-by参数。例子如下:

使用查询语句(--e或--query)导入时,需要指定--split-by参数及--target-dir参数;
When importing query results in parallel, you must specify --split-by. Must specify destination with --target-dir.

 

sqoop import --connect  connect jdbc:mysql://114.215xx.xx.xx:3306/crawler_data \

--username test --password test  \

--e 'select * from T_SQOOP_TEST where $CONDITIONS' --verbose --split-by  id --target-dir temp3 --m 1

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM