關於在sqoop 導出數據到mysql數據庫的過程對於空字符的處理。

今天在做sqoop的導入和導出的操作。在導出數據到mysql數據庫的時候一直有問題，在導入空字段的時候就出現下面這個錯誤。

 WARN hdfs.DFSClient: Caught exception 
java.lang.InterruptedException
at java.lang.Object.wait(Native Method)
at java.lang.Thread.join(Thread.java:1281)
at java.lang.Thread.join(Thread.java:1355)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.closeResponder(DFSOutputStream.java:967)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.endBlock(DFSOutputStream.java:705)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:894)
18/09/05 12:02:12 INFO input.FileInputFormat: Total input paths to process : 1
18/09/05 12:02:12 INFO input.FileInputFormat: Total input paths to process : 1

GXG 2018/9/5 12:30:34

ERROR tool.ExportTool: Error during export: 
Export job failed!
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:439)
at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

 

然后發現在hive表當中的數據是為空的。而且沒有指定對空字符進行操作。所以導致拿不到這個字段。最后在對string類型的數據進行處理之后順利的導入數據庫：

--input-null-string '\\N' \
--input-null-non-string '\\N' \

對sqoop的腳本加上這段代碼就可以實現對數據的導入。具體的sqoop腳本如下：

sqoop export \
--connect jdbc:mysql://172.16.230.138/report \
--username u_report \
--password 1234 \
--table middle_table1 \
--export-dir /user/hive/warehouse/middle_table_copy/* \
--input-null-string '\\N' \
--input-null-non-string '\\N' \
--input-fields-terminated-by '\t' 

至此問題得到解決。數據順利的導入到關系型數據庫mysql當中。