Hadoop本地環境安裝


一.服務器環境

  本人用的是阿里雲的ECS的入門機器,配置1核2G,1M帶寬,搭了個Hadoop單機環境,供參考

  Linux發行版本:Centos7

  JDK:阿里雲鏡像市場中選擇JDK8

 

二.安裝步驟

  1.從鏡像下載Hadoop安裝包

  這里選擇從國內鏡像下載,我這里選擇是hadoop-2.7.7版本

  鏡像地址:http://mirror.bit.edu.cn/apache/hadoop/common/

  2.解壓縮hadoop安裝包

  tar -zxvf /opt/hadoop-2.7.7.tar.gz 

  這里的路徑/opt/hadoop-2.7.7.tar,gz,可以自己定義

   3.確認JAVA_HOME的環境變量已經配置好

   默認情況下,從阿里雲鏡像市場中的鏡像應該是已經配好的

  可以通過以下命令確認

  echo {JAVA_HOME} ,這個命令會輸出JAVA的環境地址

   4.運行hadoop自帶的wordcount程序

    -首先 我們要定義一個輸入文件

    如,vim /opt/hadoop-2.7.7/test.txt

    -在test.txt文件中輸入初始的需要計算的數據數據

      this is my first time to learn hadoop
      love hadoop
      Hello hadoop

    -然后運行hadoop自帶的demo示例,

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar wordcount /opt/hadoop-2.7.7/input/test.txt output2

    bin/hadoop:這是hadoop的執行入口

    share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar :這是hadoop地帶的示例demo

    /opt/hadoop-2.7.7/input/test.txt  這是輸入文件的位置

    output2:這是輸出的文件夾

    運行結束后,在output2文件夾下面可以查看輸出的結果
    

 

 

    

    


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM