一.前言
Hadoop是一個由Apache基金會所開發的分布式系統基礎架構,說白了就是一個龐大的任務,一台機器處理不過來,就分割成若干個子任務,讓若干個機器來處理,最后將結果匯總。剛接觸hadoop可能理解的不透徹,但是這都不重要,先把它安裝下來再說,這里把我的整個安裝步驟紀錄下來。
二.安裝Hadoop
1.創建一個專門的hadoop管理員用戶
命令行執行:
//創建組用戶
sudo
addgroup hadoop
sudo
adduser -ingroup hadoop hadoop
//配置權限
sudo
vim
/etc/sudoers
文件內添加 hadoop ALL=(ALL:ALL) ALL
//創建hadoop文件夾並將屬主用戶改為hadoop
sudo mkdir /hadoop
sudo
chown
-R hadoop:hadoop hadoop
2.配置hadoop用戶ssh無密碼登錄
命令行執行:
su hadoop
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
用ssh localhost測試一下是否還需輸密碼登錄,如果還要密碼,可能是根目錄的權限問題。
3.安裝jdk
首先java -version看一下是否安裝java環境,如出現jvm版本號信息,則表示已有java環境,我的是會出現系統默認安裝的openjdk,這里我把它卸載重新安裝了jdk,步驟如下:
卸載自帶的openjdk:
sudo apt-get purge openjdk*
進入oracle官網http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html下載適合版本的jdk
將安裝包jdk-8u45-linux-i586.gz解壓並copy到/usr/java下
sudo tar -zxvf jdk-8u45-linux-i586.gz
cp -r jdk-8u45-linux-i586.gz /usr/java
配置環境變量:
sudo vim /etc/profile
寫入:
export JAVA_HOME=/usr/java/jdk1.8.0 _45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${PATH}:${JAVA_HOME}/bin:${JRE_HOME}/bin
保存退出執行
source /etc/profile
修改系統jdk:
命令行執行
官網下載hadoop,我下載的是hadoop-1.2.1.tar.gz
解壓到之前新建的hadoop文件夾里
配置hadoop環境變量:
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_HOME=/hadoop/hadoop-1.2.1
export PATH=${PATH}:${HADOOP_HOME}/bin:${JAVA_HOME}/bin:${JRE_HOME}/bin
進入conf文件夾更改4個配置文件:
1.hadopp-env.sh
2.mapred-site.xml
3.core-site.xml
4.hdfs-site.xml
這幾個文件都只是一些簡單的默認配置
格式化hdfs:
命令行執行
$HADOOP_HOME/bin/hadoop namenode -format
出現下圖即成功
啟動hadoop:
命令行執行
$HADOOP_HOME/bin/start-all.sh
出現下圖則成功
停止hadoop的命令為:
$HADOOP_HOME/bin/stop-all.sh
至此,hadoop的簡單搭建就完成了,接下來就是深入了解~~