ubuntu下安裝hadoop


 

一.前言

  Hadoop是一個由Apache基金會所開發的分布式系統基礎架構,說白了就是一個龐大的任務,一台機器處理不過來,就分割成若干個子任務,讓若干個機器來處理,最后將結果匯總。剛接觸hadoop可能理解的不透徹,但是這都不重要,先把它安裝下來再說,這里把我的整個安裝步驟紀錄下來。

二.安裝Hadoop

  1.創建一個專門的hadoop管理員用戶

  命令行執行:

  //創建組用戶

  sudo addgroup hadoop

  sudo adduser -ingroup hadoop hadoop  

  //配置權限

  sudo vim /etc/sudoers 

  文件內添加 hadoop  ALL=(ALL:ALL) ALL

  //創建hadoop文件夾並將屬主用戶改為hadoop

  sudo mkdir /hadoop

  sudo chown -R hadoop:hadoop hadoop

 

  2.配置hadoop用戶ssh無密碼登錄

  命令行執行:

  su hadoop

  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

  cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  用ssh localhost測試一下是否還需輸密碼登錄,如果還要密碼,可能是根目錄的權限問題。

  

  3.安裝jdk

  首先java -version看一下是否安裝java環境,如出現jvm版本號信息,則表示已有java環境,我的是會出現系統默認安裝的openjdk,這里我把它卸載重新安裝了jdk,步驟如下:

  卸載自帶的openjdk:

  sudo apt-get purge openjdk*

  進入oracle官網http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下載適合版本的jdk

  將安裝包jdk-8u45-linux-i586.gz解壓並copy到/usr/java下

  sudo tar -zxvf jdk-8u45-linux-i586.gz

  cp -r jdk-8u45-linux-i586.gz /usr/java

  配置環境變量:

  sudo vim /etc/profile

  寫入:  

  export JAVA_HOME=/usr/java/jdk1.8.0 _45
  export JRE_HOME=${JAVA_HOME}/jre
  export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

  export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin

  保存退出執行

  source /etc/profile

  修改系統jdk:

  命令行執行

  sudo update-alternatives --install /usr/bin/java java /usr/java/jdk1.8.0 _45/bin/java 300 
  sudo update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.8.0 _45/bin/javac 300 
  選擇你新安裝的jdk版本
  sudo update-alternatives --config java 
  sudo update-alternatives --config javac
  
  最后再執行java -version看下java版本信息,如果失敗可能是你安裝的jdk不是你系統類型匹配的版本
 
  4.安裝hadoop

  官網下載hadoop,我下載的是hadoop-1.2.1.tar.gz

  解壓到之前新建的hadoop文件夾里

  配置hadoop環境變量:  

  export HADOOP_HOME_WARN_SUPPRESS=1

  export HADOOP_HOME=/hadoop/hadoop-1.2.1

  export PATH=${PATH}:${HADOOP_HOME}/bin:${JAVA_HOME}/bin:${JRE_HOME}/bin

 

  進入conf文件夾更改4個配置文件:

  1.hadopp-env.sh

  

 

  2.mapred-site.xml

  

 

 

  3.core-site.xml

  

 

 

  4.hdfs-site.xml

  

 

  這幾個文件都只是一些簡單的默認配置

  格式化hdfs:

  命令行執行

  $HADOOP_HOME/bin/hadoop namenode -format

  出現下圖即成功

  

 

 

  啟動hadoop:

  命令行執行

  $HADOOP_HOME/bin/start-all.sh

  出現下圖則成功

  

 

  停止hadoop的命令為:

  $HADOOP_HOME/bin/stop-all.sh

 

至此,hadoop的簡單搭建就完成了,接下來就是深入了解~~

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM