集群的啟動:$HADOOP_HOME/sbin/start-all.sh
jps檢測進程:
單啟動HDFS:$HADOOP_HOME/sbin/start-dfs.sh
單啟動YARN:$HADOOP_HOME/sbin/start-yarn.sh
如果你的Hadoop一直有如下警告:
則請檢查你的配置文件更改過程中是否少寫了property標簽,如本人的"mapred-site.xml"文件:
添加之后就好了。
下面展示wordcount程序統計詞數:
創建一個上傳文件的文件夾:
hadoop dfs -mkdir /input
上傳一個本地文件:將hello.txt文件上傳到 /input下
hadoop fs -put hello.txt /input
查看上傳的文件:
hadoop fs -ls /input
hadoop fs -cat /input/hello.txt
提交mapreduce作業到yarn上運行
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /input/hello.txt /output/
查看單詞數:
hadoop fs -text /output/part*