【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...
原文：【原創】大叔經驗分享（21）yarn中查看每個應用實時占用的內存和cpu資源
在yarn中的application詳情頁面 http: resourcemanager cluster app applicationId 或者通過application命令 yarn application status applicationId 只能看到應用啟動以來占用的資源 時間統計，比如： Aggregate Resource Allocation : MB seconds, vcor ...
2019-01-10 16:54 1 5009 推薦指數：
相關推薦
【原創】大叔經驗分享（6）Oozie如何查看提交到Yarn上的任務日志
通過oozie job id可以查看流程詳細信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程詳細信息如下： Job ID ...
【原創】大叔經驗分享（46）用戶提交任務到yarn報錯
用戶提交任務到yarn時有可能遇到下面的錯誤： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 這是因為yarn中配置 ...
【原創】大叔經驗分享（59）kudu查看table size
kudu並沒有命令可以直接查看每個table占用的空間，可以從cloudera manager上間接查看 CM is scrapping and aggregating the /metrics pages from the tablet server instances ...
【原創】大叔經驗分享（9）yarn重要配置yarn.nodemanager.local-dirs
yarn中有一個比較重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在飽和狀態運行下集群會出現很多問題：1 默認配置${hadoop.tmp.dir}/nm-local-dir，系統盤通常只有幾百G，配置在這里會經常報磁盤空間不足的錯誤；2 配置到其中1個數據盤 ...
【原創】大叔經驗分享（48）oozie中通過shell執行impala
oozie中通過shell執行impala，腳本如下： 直接執行shell腳本正常，在oozie中執行報錯： 按照提示修改PYTHON_EGG_CACHE即可 另外還可以通過beeline連接，則沒有python的問題， 詳見：https ...
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...
【原創】大叔經驗分享（4）Yarn ResourceManager頁面如何實現主被自動切換
hdfs、yarn、hbase這些組件的master支持多個，實現自動主備切換，其中hdfs、hbase無論訪問主master或者備master都可以正常訪問頁面，但是yarn比較特別，只有主master的頁面可以訪問，備master會返回Refresh，3s后重定向； 一種方式是提供兩個域名 ...