啟動集群、運行wordcount測試案例、WARN conf.Configuration: bad conf file: element not


集群的啟動:$HADOOP_HOME/sbin/start-all.sh 

  jps檢測進程:

  

 

單啟動HDFS:$HADOOP_HOME/sbin/start-dfs.sh

單啟動YARN:$HADOOP_HOME/sbin/start-yarn.sh

如果你的Hadoop一直有如下警告:

  

  則請檢查你的配置文件更改過程中是否少寫了property標簽,如本人的"mapred-site.xml"文件:

  

  添加之后就好了。

下面展示wordcount程序統計詞數:

  創建一個上傳文件的文件夾:

  hadoop dfs -mkdir  /input

   上傳一個本地文件:將hello.txt文件上傳到  /input下

  hadoop fs -put hello.txt  /input

  查看上傳的文件:

  hadoop fs -ls /input

  hadoop fs -cat /input/hello.txt

  

  提交mapreduce作業到yarn上運行

  hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar  wordcount  /input/hello.txt  /output/

  查看單詞數:

  hadoop fs -text /output/part*

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM