【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
正在running，進入yarn的ApplicationMaster頁面，進入job，點擊configura ...
原文：【原創】大叔經驗分享（4）Yarn ResourceManager頁面如何實現主被自動切換
hdfs yarn hbase這些組件的master支持多個，實現自動主備切換，其中hdfs hbase無論訪問主master或者備master都可以正常訪問頁面，但是yarn比較特別，只有主master的頁面可以訪問，備master會返回Refresh， s后重定向 一種方式是提供兩個域名，分別對應兩個yarn的master，一旦有master切換，需要手工切換到另外一個，有沒有更好的方式 訪問 ...
2018-12-12 16:54 0 656 推薦指數：
相關推薦
【原創】大叔經驗分享（46）用戶提交任務到yarn報錯
用戶提交任務到yarn時有可能遇到下面的錯誤： 1） Requested user anything is not whitelisted and has id 980,which is below the minimum allowed 1000 這是因為yarn中配置 ...
【原創】大叔經驗分享（9）yarn重要配置yarn.nodemanager.local-dirs
yarn中有一個比較重要的配置yarn.nodemanager.local-dirs，如果配置的不好，在飽和狀態運行下集群會出現很多問題：1 默認配置${hadoop.tmp.dir}/nm-local-dir，系統盤通常只有幾百G，配置在這里會經常報磁盤空間不足的錯誤；2 配置到其中1個數據盤 ...
【原創】大叔經驗分享（15）spark sql limit實現原理
之前討論過hive中limit的實現，詳見 https://www.cnblogs.com/barneywill/p/10109217.html下面看spark sql中limit的實現，首先看執行計划： spark-sql> explain select * from test1 ...
【原創】大叔經驗分享（6）Oozie如何查看提交到Yarn上的任務日志
通過oozie job id可以查看流程詳細信息，命令如下： oozie job -info 0012077-180830142722522-oozie-hado-W 流程詳細信息 ...
【原創】大叔經驗分享（21）yarn中查看每個應用實時占用的內存和cpu資源
在yarn中的application詳情頁面 http://resourcemanager/cluster/app/$applicationId 或者通過application命令 yarn application -status $applicationId 只能 ...
【原創】大叔經驗分享（19）spark on yarn提交任務之后執行進度總是10%
spark 2.1.1 系統中希望監控spark on yarn任務的執行進度，但是監控過程發現提交任務之后執行進度總是10%，直到執行成功或者失敗，進度會突然變為100%，很神奇， 下面看spark on yarn任務提交過程： spark on yarn提交任務時會 ...
【原創】大叔經驗分享（88）jenkins假死
jenkins安裝啟動后，使用systemctl來進行進程監控 # systemctl enable jenkins 但是還是經常發生jenkins進程掛了，不會自動重啟，通過systemctl查看狀態為： # systemctl status jenkins ...