【原創】大叔經驗分享(106)Impala讀取parquet時間字段時區偏移問題


parquet文件中的時間字段,在hive和spark-sql中讀取正常,在impala中讀取會偏移8個小時(少),經測試結果如下:

一 不修改impala配置

1 由spark或hive寫入parquet

  • spark和hive讀取正常
  • impala讀取偏移8小時(少),需要手工偏移 from_unixtime(unix_timestamp(time) + 28800)

二 修改impala配置

use_local_tz_for_unix_timestamp_conversions=true

convert_legacy_hive_parquet_utc_timestamps=true

1 由spark或hive寫入parquet

  • spark和hive讀取正常
  • impala讀取正常

2 由impala寫入parquet

  • spark和hive讀取偏移8小時(多)
  • impala讀取正常

 

參考:https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_timezone.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM