mapreduce指定參數
mapreduce在運行的時候可以指定各種參數,這樣可以根據實際的應用場景做一下相關的調整
1.指定運行時cpu的個數
hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output
-D mapreduce.map.cpu.vcores=2 :指定這個mapreduce任務運行時cpu的個數
/home/input :指定的輸入hdfs路徑
/home/output:指定的輸出hdfs路徑
查看結果:http://kafka-test01:8088/proxy/application_1488814616605_0007

點擊Configuration查看相關的配置:

2.指定運行時memory的大小
hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/
mapreduce.map.memory.mb=2048 :指定這個mapreduce任務運行時內存的大小
/home/input :指定的輸入hdfs路徑
/home/output:指定的輸出hdfs路徑
查看結果:http://kafka-test01:8088/proxy/application_1488814616605_0005

點擊Configuration查看相關的配置:

