ubuntu下hadoop安裝與配置

安裝前的建議：

    將 vm 虛擬機連上網絡后，在 secureRCT 中連接ubuntu，然后進行編寫。 secureCRT 可以直接復制代碼，如果在ubuntu桌面就必須純手打代碼，無法將外部瀏覽器的內容復制進去。
    利用 secureRCT 可以進行 windows 與 linux 文件傳輸，比如在 windows 系統安裝了 jdk1.8 要上傳到 linux 系統，則需要用到 secureRCT.


一、創建hadoop用戶

$ sudo useradd -m hadoop -s /bin/bash  #創建hadoop用戶，並使用/bin/bash作為shell
$ sudo passwd hadoop                   #為hadoop用戶設置密碼，之后需要連續輸入兩次密碼
$ sudo adduser hadoop sudo             #為hadoop用戶增加管理員權限
$ su - hadoop                          #切換當前用戶為用戶hadoop
$ sudo apt-get update                  #更新hadoop用戶的apt,方便后面的安裝

 

二、安裝SSH,設置SSH無密碼登陸

$ sudo apt-get install openssh-server   #安裝SSH server
$ ssh localhost                         #登陸SSH，第一次登陸輸入yes
$ exit                                  #退出登錄的ssh localhost
$ cd ~/.ssh/                            #如果沒法進入該目錄，執行一次ssh localhost
$ ssh-keygen -t rsa　 

輸入完 $ ssh-keygen -t rsa　語句以后，需要連續敲擊三次回車，如下圖

 

其中，第一次回車是讓KEY存於默認位置，以方便后續的命令輸入。第二次和第三次是確定passphrase，相關性不大。

兩次回車輸入完畢以后，如果出現類似於下圖所示的輸出，即成功：

 

 然后繼續輸入：

$ cat ./id_rsa.pub >> ./authorized_keys #加入授權
$ ssh localhost                         #此時已不需密碼即可登錄localhost，並可見下圖。如果失敗則可以搜索SSH免密碼登錄來尋求答案

  

 
在此之前先將jdk安裝好

三、安裝hadoop-2.6.0

$ sudo tar -zxvf  hadoop-2.6.0.tar.gz -C /usr/local    #解壓到/usr/local目錄下
$ cd /usr/local $ sudo mv hadoop-2.6.0    hadoop                      #重命名為hadoop
$ sudo chown -R hadoop ./hadoop 

安裝好后，在hadoop用戶下給hadoop配置環境變量，若用戶不是hadoop則輸入 su - hadoop切換用戶
切換完成后輸入 vi /etc/profile（權限要求root）
在文件底部添加

export HADOOP_HOME=/usr/local/hadoop  export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

：wq 保存文件后執行source /etc/profile使設置生效。

安裝完成后輸入 hadoop version 查看:

 

 

 
四、偽分布式配置

1、先將 jdk1.8 的路徑添加到 hadoop-env.sh 中

2、修改core-site.xml文件：

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

wq保存



3、接下來修改配置文件 hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>    

配置完成后，執行 NameNode 的格式化

hdfs namenode -format

然后啟動namenode和datanode進程，並查看啟動結果

$ start-dfs.sh $ jps

 

 

 啟動完成后，可以通過命令 jps 來判斷是否成功啟動，若成功啟動則會列出如下進程: “NameNode”、”DataNode” 和 “SecondaryNameNode”

進入ubuntu-Firefox中輸入http://localhost:50070，若出現以下畫面，則代表hadoop配置成功