sqoop運行時提示內存不足的解決辦法


得知mapreduce的運行內存不足,主要為這一段
Diagnostics: Container [pid=13688,containerID=container_e07_1533215502568_0002_02_000001] is running beyond physical memory limits. Current usage: 180.2 MB of 170 MB physical memory used; 1.9 GB of 357.0 MB virtual memory used. Killing container.

在yarn.site 中設置 yarn.scheduler.minimum-allocation-mb 的值為256MB問題解決

yarn.scheduler.minimum-allocation-mb
256

如果提示虛擬內存不足,可以關閉檢查,如下設置

yarn.nodemanager.vmem-check-enabled
false
Whether virtual memory limits will be enforced for containers.


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM