spark on yarn模式里需要有時手工釋放linux內存

 

 

　　為什么要提出這個問題?

spark跑YARN模式或Client模式提交任務不成功（application state: ACCEPTED）

 

 

 

 　　然后執行

[spark@master spark-1.6.1-bin-hadoop2.6]$ su root
Password: 
[root@master spark-1.6.1-bin-hadoop2.6]# echo 1 > /proc/sys/vm/drop_caches
[root@master spark-1.6.1-bin-hadoop2.6]# echo 2 > /proc/sys/vm/drop_caches
[root@master spark-1.6.1-bin-hadoop2.6]# echo 3 > /proc/sys/vm/drop_caches

 

 

 

 

 

 

 

參考

手工釋放linux內存——/proc/sys/vm/drop_cache

http://www.linuxidc.com/Linux/2010-03/24939.htm