parquet文件中的時間字段,在hive和spark-sql中讀取正常,在impala中讀取會偏移8個小時(少),經測試結果如下:
一 不修改impala配置
1 由spark或hive寫入parquet
- spark和hive讀取正常
- impala讀取偏移8小時(少),需要手工偏移 from_unixtime(unix_timestamp(time) + 28800)
二 修改impala配置
use_local_tz_for_unix_timestamp_conversions=true
convert_legacy_hive_parquet_utc_timestamps=true
1 由spark或hive寫入parquet
- spark和hive讀取正常
- impala讀取正常
2 由impala寫入parquet
- spark和hive讀取偏移8小時(多)
- impala讀取正常
參考:https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_timezone.html