hadoop系统宕机,解决办法


1,如果是mr程序导致的。需要考虑控制集群运行任务的并行度;控制单个任务可以申请的最大内存。

2,如果是namenode宕机了,需要考虑控制写入的速度。可以使用kafka来做中间缓存,kafka存储大小,控制kafka写入hdfs的速度。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM