提交spark應用到yarn集群上的時候在跑一段時間就會出現這個報錯:
根據上面的報錯原因分析是因為集群資源不夠,集群的自我保護機制使hdfs處於安全模式,然后我用”hdfs dfsadmin -safemode leave“命令讓集群恢復到可用模式但是在提交到集群時還是會報錯同樣的錯誤
然后就查找資料說的是節點空間不足,然后就用 df -hl命令查看集群空間的使用情況
看到上面的使用情況資源已經使用100%了
然后在使用du -sh /* 看看是拿些大文件占用了空間
然后把這些占用空間大的文件移動到別的地方然后重新提交任務,到此錯誤完美解決