hive:導出數據記錄中null被替換為\n的解決方案


在hive中,一般情況下通過

1 use my_hive_db;
2 set hive.merge.mapfiles=true;
3 set hive.merge.mapredfiles=true;
4 set hive.merge.size.per.task= 1000000000;
5 set hive.merge.smallfiles.avgsize= 1000000000;
6 insert overwrite directory '/user/myuser/temp/scenemapbuild/' row format delimited fields terminated by ',' select * from scenemapbuild;

導出文件時,會遇本來表中本來字段值為null的字段導出時為\n。

解決方案:

1 insert overwrite directory '/data/files/map_table_4'
2 ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
3 WITH SERDEPROPERTIES (
4 'field.delim'=',',
5 'serialization.format'= '',
6 'serialization.null.format'=''  
7 ) STORED AS TEXTFILE
8 select foo, null, bar from map_table;

備注:

1)設置 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 

則:底層數據保存的是'\N',通過查詢顯示的是'NULL'
這時如果查詢為空值的字段可通過 語句:a is null 或者 a='\\N'

2)設置 alter tablename SET SERDEPROPERTIES('serialization.null.format' = 'NULL');
則:底層數據保存的是'NULL',通過查詢顯示的是'NULL'
這時如果查詢為空值的字段可通過 語句:a is null 或者 a='NULL'

3)設置 alter tablename SET SERDEPROPERTIES('serialization.null.format' = '');
則:底層數據保存的是'',通過查詢顯示的是'NULL'
'' 與 length(xx)=0
'' 表示的是字段不為null且為空字符串,此時用 a is null 是無法查詢這種值的,必須通過 a='' 或者 length(a)=0 查詢。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM