Resources are low on NN. Please add or free up more resources then turn off safe mode manually.


提交spark應用到yarn集群上的時候在跑一段時間就會出現這個報錯:

根據上面的報錯原因分析是因為集群資源不夠,集群的自我保護機制使hdfs處於安全模式,然后我用”hdfs dfsadmin -safemode leave“命令讓集群恢復到可用模式但是在提交到集群時還是會報錯同樣的錯誤

然后就查找資料說的是節點空間不足,然后就用 df -hl命令查看集群空間的使用情況

看到上面的使用情況資源已經使用100%了

然后在使用du -sh /* 看看是拿些大文件占用了空間

然后把這些占用空間大的文件移動到別的地方然后重新提交任務,到此錯誤完美解決

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM