oozie中通過shell執行impala，腳本如下： 直接執行shell腳本正常，在oozie中執行報錯： 按照提示修改PYTHON_EGG_CACHE即可 另外還可以通過beeline連接，則沒有python的問題， 詳見：https ...

hive建表后直接將數據文件拷貝到table目錄下，select * 可以查到數據，但是select count(1) 一直返回0，這個是因為hive中有個配置 hive.stats.autogather=true Enables automated gathering ...

hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...

parquet文件中的時間字段，在hive和spark-sql中讀取正常，在impala中讀取會偏移8個小時（少），經測試結果如下： 一 不修改impala配置 1 由spark或hive寫入parquet spark和hive讀取正常 impala讀取偏移8小時（少），需要手工 ...

jenkins安裝啟動后，使用systemctl來進行進程監控 # systemctl enable jenkins 但是還是經常發生jenkins進程掛了，不會自動重啟，通過syste ...

准備 maven 下載 https://downloads.apache.org/impala/3.4.0/apache-impala-3.4.0.tar.gz 編譯 報錯處理 [ERROR] Failed to execute goal on project ...

logstash一個實例運行多個配置文件，將所有配置文件放到以下目錄即可 /usr/share/logstash/pipeline 但是默認行為不是每個配置文件獨立運行，而是作為一個整體，每個input會匹配所有的filter，然后匹配所有的output，可能會導致數據被錯誤的處理以及發送到 ...

問題重現 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看執行計划： hive> explain select * from big_table where name ...