這是一個在cdh的yarn集群上無法運行mr程序的錯誤,linux的監控平台的錯誤如下圖:
在yarn的web頁面上報的錯如下圖:
一開始以為是yarn的權限問題,后來裝了spark2以后,啟動spark-shell會報如下錯誤:
然后根據https://blog.csdn.net/weixin_33801856/article/details/91907365這位博主的提示修改了以下參數以后,以上的問題全部解決:
解決方法:
修改yarn.scheduler.maximum-allocation-mb
和 yarn.nodemanager.resource.memory-mb
的默認值為2G
重啟集群
因為自己在這個地方被被坑了好久,所以一定要記下來,希望能幫助到小伙伴們!