【原創】大叔經驗分享（83）impala執行多個select distinct
impala在一個select中執行多個count distinct時會報錯，比如執行 select key, count(distinct column_a), count(distinct column_b) from test_table group by key 會報 ...
原文：【原創】大叔經驗分享（48）oozie中通過shell執行impala
oozie中通過shell執行impala，腳本如下： 直接執行shell腳本正常，在oozie中執行報錯： 按照提示修改PYTHON EGG CACHE即可 另外還可以通過beeline連接，則沒有python的問題， 詳見：https: www.cnblogs.com barneywill p .html ...
2019-04-01 17:46 0 571 推薦指數：
相關推薦
【原創】大叔經驗分享（5）oozie提交spark任務如何添加依賴
spark任務添加依賴的方式： 1 如果是local方式運行，可以通過--jars來添加依賴； 2 如果是yarn方式運行，可以通過spark.yarn.jars來添加依賴； 這兩種方式在oozie上都行不通，首先oozie上沒辦法也不應該通過local運行 ...
【原創】大叔經驗分享（6）Oozie如何查看提交到Yarn上的任務日志
通過oozie job id可以查看流程詳細信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程詳細信息如下： Job ID ...
【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...
【原創】大叔經驗分享（106）Impala讀取parquet時間字段時區偏移問題
parquet文件中的時間字段，在hive和spark-sql中讀取正常，在impala中讀取會偏移8個小時（少），經測試結果如下： 一 不修改impala配置 1 由spark或hive寫入parquet spark和hive讀取正常 impala讀取偏移8小時（少），需要手工 ...
【原創】大叔經驗分享（88）jenkins假死
jenkins安裝啟動后，使用systemctl來進行進程監控 # systemctl enable jenkins 但是還是經常發生jenkins進程掛了，不會自動重啟，通過syste ...
大叔經驗分享（127）impala3.4編譯安裝
准備 maven 下載 https://downloads.apache.org/impala/3.4.0/apache-impala-3.4.0.tar.gz 編譯 報錯處理 [ERROR] Failed to execute goal on project ...
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...