sqoop自定义分隔符


如题,sqoop1.4.*版本中分隔符只能为一个字符,并不能满足实际开发中的一些需求,下面讨论如何自定义分隔符!

首先说明,本人在研究过程中借鉴了http://www.cnblogs.com/YFYkuner/p/3748495.html!

步骤如下:

1.修改sqoop生成的java文件,仅修改一行代码即可,char fieldDelim = delimiters.getFieldsTerminatedBy();替换为String fieldDelim = "!@#";

2.重新编译,hadoop1.*编译请移步上面的链接,这里主要说hadoop2.*的编译,其实步骤都差不多,差别仅在于1.*有hadoop-core.jar,而2.*将其打散了,废话不多说,编译sqoop生成的java需要以下几个包

hadoop-common-2.6.0.jar、hadoop-annotations-2.6.0.jar、hadoop-mapreduce-client-core-2.6.0.jar

具体步骤如下:

javac -cp ./:$HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/hadoop-common-2.6.0.jar:$HADOOP_HOME/share/hadoop/httpfs/tomcat/webapps/webhdfs/WEB-INF/lib/hadoop-annotations-2.6.0.jar:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.0.jar:$SQOOP_HOME/sqoop-1.4.4-cdh5.1.0.jar TB_INSURANCE_PLEDGE.java

jar -cf TEST.jar TEST.class

sqoop import --connect jdbc:oracle:thin:@192.168.1.*:1521:orcl --username * --password *--verbose -m 1 --table TEST --jar-file /tmp/sqoop-hadoop/compile/a76a03a2aa1f403f660bf1e180f9317e/TEST.jar --class-name TEST --target-dir /user/sqoop/TEST

 

sqoop import --connect jdbc:XXX/testdb --username user --password password --table test_table --split-by id --jar-file /path/test_table.jar --class-name test_table


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM