錯誤:
org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt
原因:
錯誤很明顯,磁盤空間不足,但郁悶的是,進各節點查看,磁盤空間使用不到40%,還有很多空間。
郁悶很長時間才發現,原來有個map任務運行時輸出比較多,運行出錯前,硬盤空間一路飆升,直到100%不夠時報錯。隨后任務執行失敗,釋放空間,把任務分配給其它節點。正因為空間被釋放,因此雖然報空間不足的錯誤,但查看當時磁盤還有很多剩余空間。
這個問題告訴我們,運行過程中的監控很重要。
如果,您認為閱讀這篇博客讓您有些收獲,不妨點擊一下右下角的【推薦】。
如果,您希望更容易地發現我的新博客,不妨點擊一下左下角的【關注我】。
如果,您對我的博客所講述的內容有興趣,請繼續關注我的后續博客,我是【劉超★ljc】。
本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。
