hadoop錯誤org.apache.hadoop.mapred.TaskAttemptListenerImpl Progress of TaskAttempt


錯誤:

    org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt

原因:

    錯誤很明顯,磁盤空間不足,但郁悶的是,進各節點查看,磁盤空間使用不到40%,還有很多空間。

    郁悶很長時間才發現,原來有個map任務運行時輸出比較多,運行出錯前,硬盤空間一路飆升,直到100%不夠時報錯。隨后任務執行失敗,釋放空間,把任務分配給其它節點。正因為空間被釋放,因此雖然報空間不足的錯誤,但查看當時磁盤還有很多剩余空間。

    這個問題告訴我們,運行過程中的監控很重要。

 

如果,您認為閱讀這篇博客讓您有些收獲,不妨點擊一下右下角的【推薦】。
如果,您希望更容易地發現我的新博客,不妨點擊一下左下角的【關注我】。
如果,您對我的博客所講述的內容有興趣,請繼續關注我的后續博客,我是【劉超★ljc】。

本文版權歸作者和博客園共有,歡迎轉載,但未經作者同意必須保留此段聲明,且在文章頁面明顯位置給出原文連接,否則保留追究法律責任的權利。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM