mapreduce 運行-指定各種運行參數


mapreduce指定參數

mapreduce在運行的時候可以指定各種參數,這樣可以根據實際的應用場景做一下相關的調整

1.指定運行時cpu的個數

hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output

-D mapreduce.map.cpu.vcores=2 :指定這個mapreduce任務運行時cpu的個數

/home/input :指定的輸入hdfs路徑

/home/output:指定的輸出hdfs路徑

查看結果:http://kafka-test01:8088/proxy/application_1488814616605_0007

 點擊Configuration查看相關的配置:

 

2.指定運行時memory的大小

hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/

mapreduce.map.memory.mb=2048 :指定這個mapreduce任務運行時內存的大小

/home/input :指定的輸入hdfs路徑

/home/output:指定的輸出hdfs路徑

查看結果:http://kafka-test01:8088/proxy/application_1488814616605_0005

 

 點擊Configuration查看相關的配置:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM