1,如果是mr程序導致的。需要考慮控制集群運行任務的並行度;控制單個任務可以申請的最大內存。
2,如果是namenode宕機了,需要考慮控制寫入的速度。可以使用kafka來做中間緩存,kafka存儲大小,控制kafka寫入hdfs的速度。
1,如果是mr程序導致的。需要考慮控制集群運行任務的並行度;控制單個任務可以申請的最大內存。
2,如果是namenode宕機了,需要考慮控制寫入的速度。可以使用kafka來做中間緩存,kafka存儲大小,控制kafka寫入hdfs的速度。
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。