【原創】大叔經驗分享（18）hive2.0以后通過beeline執行sql沒有進度信息
一 問題 在hive1.2中使用hive或者beeline執行sql都有進度信息，但是升級到hive2.0以后，只有hive執行sql還有進度信息，beeline執行sql完全silence，在等待結果的過程中完全不知道執行到哪了 1 hive執行sql過程（有進度信息 ...
原文：【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 相近時間提交了幾個相近的sql，相互之間無法區分 一個任務有問題，想看下這個任務具體執行的是什么 是誰的任務 通過以下方法可以查看： 如果任務正在running，進入yarn的ApplicationMaster頁面，進入job，點擊configuration，右上角過濾框輸 ...
2018-12-07 16:40 0 2375 推薦指數：
相關推薦
【原創】大叔經驗分享（6）Oozie如何查看提交到Yarn上的任務日志
通過oozie job id可以查看流程詳細信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程詳細信息如下： Job ID ...
【原創】大叔經驗分享（21）yarn中查看每個應用實時占用的內存和cpu資源
在yarn中的application詳情頁面 http://resourcemanager/cluster/app/$applicationId 或者通過application命令 yarn application -status $applicationId 只能 ...
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...
【原創】大叔經驗分享（2）為什么hive在大表上加條件后執行limit很慢
問題重現 select id from big_table where name = 'sdlkfjalksdjfla' limit 100; 首先看執行計划： hive> explain select * from big_table where name ...
【原創】大叔經驗分享（46）用戶提交任務到yarn報錯
用戶提交任務到yarn時有可能遇到下面的錯誤： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 這是因為yarn中配置 ...
【原創】大叔經驗分享（84）spark sql中設置hive.exec.max.dynamic.partitions無效
spark 2.4 spark sql中執行 set hive.exec.max.dynamic.partitions=10000; 后再執行sql依然會報錯： 這個參數hive.exec.max.dynamic.partitions的默認值是1000，修改 ...
【原創】大叔經驗分享（65）spark讀取不到hive表
spark 2.4.3 spark讀取hive表，步驟： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSupport SparkSession.builder.enableHiveSupport ...