MapReduce running in uber mode (jvm重用)


原文 http://blog.csdn.net/samhacker/article/details/15692003

yarn-site.xml  主要是這幾個參數

- mapreduce.job.ubertask.enable | (false) | 是否啟用user功能。如果啟用了該功能,則會將一個“小的application”的所有子task在同一個JVM里面執行,達到JVM重用的目的。這個JVM便是負責該application的ApplicationMaster所用的JVM(運行在其container里)。那具體什么樣的application算是“小的application"呢?下面幾個參數便是用來定義何謂一個“小的application"

- mapreduce.job.ubertask.maxmaps | 9 | map任務數的閥值,如果一個application包含的map數小於該值的定義,那么該application就會被認為是一個小的application

- mapreduce.job.ubertask.maxreduces | 1 | reduce任務數的閥值,如果一個application包含的reduce數小於該值的定義,那么該application就會被認為是一個小的application。不過目前Yarn不支持該值大於1的情況“CURRENTLY THE CODE CANNOT SUPPORT MORE THAN ONE REDUCE”

- mapreduce.job.ubertask.maxbytes | | application的輸入大小的閥值。默認為dfs.block.size的值。當實際的輸入大小部超過該值的設定,便會認為該application為一個小的application。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM