yarn之虚拟内存


这两天执行个wordcount或pi总是卡住或报错failed,查找了多种原因,明确了跑个job时一些参数的设置;

Job Finished in 16.602 seconds
java.io.FileNotFoundException: File does not exist: hdfs://dell:8020/user/root/QuasiMonteCarlo_1482373118226_505074045/out/reduce-out

然后我在nodemanager日志中看到:

container [pid=26086,containerID=container_1482373104195_0001_02_000001] is running beyond virtual memory limits. Current usage: 161.4 MB of 200 MB physical memory used; 879.8 MB of 420.0 MB virtual memory used. Killing container.

发现虚拟内存溢出了,所以查阅了相关资料;

一、

    yarn.nodemanager.vmem-pmem-ratio: 物理内存 与 虚拟内存的比率,每用1M物理内存,默认使用2.1M虚拟内存,(建议调大);

    或是将 yarn.nodemanager.vmem-check-enabled  虚拟内存的检查false掉,这一点很重要!


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM