ubuntu14.04安裝hadoop2.7.1偽分布式和錯誤解決

ubuntu14.04安裝hadoop2.7.1偽分布式和錯誤解決
需要說明的是我下載的是源碼，通過編譯源碼並安裝
一、需要准備的軟件：
1.JDK和GCC
    設置JAVA_HOME：
        vim ~/.bashrc
        在最后增加：export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31，保存退出。
        使設置立即生效：source ~/.bashrc
        測試JAVA_HOME是否設置成功，輸出了上面設置的路徑表示成功：
        echo $JAVA_HOME
2.安裝maven
    解壓 tar -zxvf apache-maven-3.2.5-bin.tar.gz
    配置環境變量，編輯/etc/profile或者~/.bashrc文件
    export MAVEN_HOME=/opt/maven/current/bin
    export PATH=$PATH:$MAVEN_HOME/bin
    最后要source /etc/profile
    通過mvn --version來檢查是否安裝正常
3.安裝protobuf
    解壓 tar -zxvf protobuf-2.5.0.tar.gz
    進入protobuf-2.5.0目錄，執行下面的命令
    ./configure
    make
    make check
    sudo make install
    可以通過protoc --version來查看是否安裝正常
    如果失敗，則：
    1. 將所有的用戶需要用到的庫放到/usr/loca/lib；
    2. 通過vi在/etc/ld.so.conf.d/目錄下新建文件usr-libs.conf，內容是：/usr/local/lib
    3. #sudo ldconfig
4.安裝cmake
    解壓 tar -zxvf cmake-3.4.0.tar.gz
    進入cmake-3.4.0目錄，執行下面的命令
    ./bootstrap
    make
    sudo make install
    可以通過cmake --version來查看是否安裝正常
5.安裝autotool
    sudo apt-get install autoconf automake libtool
6.配置ssh免密碼登錄
    安裝ssh server：
    sudo apt-get install openssh-server
    cd ~/.ssh/                         # 若沒有該目錄，請先執行一次ssh localhost
    ssh-keygen -t rsa              # 會有提示，都按回車就可以
    cat id_rsa.pub >> authorized_keys  # 加入授權
    使用ssh localhost試試能否直接登錄

二、編譯haodoop：
1.下載源碼包hadoop-2.7.1-src.tar.gz並解壓
    tar -zxvf hadoop-2.7.1-src.tar.gz
2.進入hadoop-2.7.1-src目錄，執行
    mvn clean package -Pdist,native -DskipTests -Dtar
3. 在編譯的過程中遇到了缺少庫的錯誤，所以就需要先安裝缺少的庫
    比如錯誤信息：
    [ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin
    apt-get install libglib2.0-dev
    apt-get install libssl-dev
    如果在編譯過程中還報類似錯，請自行通過類似方式去網上找。
    接下來就是漫長的等待，當你看到一系列的SUCCESS之后，你就成功了。
4.編譯好的hadoop-2.7.1.tar.gz在hadoop-2.7.1-src木目錄下的hadoop-dist/target/的目錄中，接下來就可以安裝了。

5.安裝Hadoop2.7.1
    將第四步編譯好的目標文件copy到/opt/hadoop/hadoop_2_7_1_64
    命令：
    sudo cp -r hadoop-dist/target/hadoop-2.7.1 /opt/hadoop/hadoop_2_7_1_64
    然后建立軟鏈接
    sudo ln -s /opt/hadoop/hadoop_2_7_1_64 current
    
6.配置環境變量
        vim ~/.bashrc
    #HADOOP VARIABLES START
    export HADOOP_INSTALL=/opt/hadoop/current
    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_HOME=$HADOOP_INSTALL
    export HADOOP_HDFS_HOME=$HADOOP_INSTALL
    export YARN_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib/native"
    #HADOOP VARIABLES END

    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_31
    export JRE_HOME=${JAVA_HOME}/jre
    export MAVEN_HOME=/opt/maven/current/bin
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$HIVE_HOME/lib:$CLASSPATH
    export PATH=${PATH}:${JAVA_HOVE}/bin:$JRE_HOME/bin:$MAVEN_HOME:$HADOOP_INSTALL/bin
    使設置立即生效：source ~/.bashrc
    檢查是否安裝成功，執行命令，如果出現命令幫助表示成功：hdfs

7.配置偽分布式

    切換至配置文件目錄：  cd /opt/hadoop/current/etc/hadoop
    配置 core-site.xml，執行命令：vim core-site.xml。將文件中的<configuration></configuration>替換為：
        <configuration>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/opt/hadoop/current/tmp</value>
                <description>Abase for other temporary directories.</description>
            </property>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
            </property>
        </configuration>
    配置 hdfs-site.xml，執行命令：vim hdfs-site.xml，修改為：
        <configuration>
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
            <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/opt/hadoop/current/tmp/dfs/name</value>
            </property>
            <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/current/tmp/dfs/data</value>
            </property>
        </configuration>

    關於Hadoop配置項的一點說明：
    雖然只需要配置 fs.defaultFS 和 dfs.replication 就可以運行（官方教程如此），不過若沒有配置 hadoop.tmp.dir 參數，則默認使用的臨時目錄為 /tmp/hadoo-hadoop，而這個目錄在重啟時有可能被系統清理掉，導致必須重新執行 format 才行。所以我們進行了設置，同時也指定 dfs.namenode.name.dir 和 dfs.datanode.data.dir，否則在接下來的步驟中可能會出錯。

    配置yarn-site.xml，執行命令：vim yarn-site.xml，修改為：
        <configuration>
          <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
          </property>
          <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
          </property>
        </configuration>
    配置mapred-site.xml
        從模板文件復制一個xml，執行命令：mv mapred-site.xml.template mapred-site.xml
        執行命令：vim mapred-site.xml
        將文件修改為

        <configuration>

          <property>

          <name>mapreduce.framework.name</name>

          <value>yarn</value>

          </property>

        </configuration>

    配置完成后，執行格式化：hdfs namenode -format。倒數第五行出現Exitting with status 0 表示成功，若為 Exitting with status 1 則是出錯。
    如果在這里還出錯，很有可能是缺少什么庫導致的。
8.運行
    在運行所有服務之前請先運行命令：
    hdfs namenode -format error
    WARN namenode.NameNode: Encountered exception during format:
    java.io.IOException: Cannot create directory /usr/local/hd/dfs/name/current
    java.io.IOException: Cannot create directory /usr/local/hd/dfs/name/current
    此錯誤表示hadoop文件用戶權限不夠，需要修改：
    sudo chown coco:coco -R hadoop
    最后啟動hadoop所有的進程：
    sh sbin/start-all.sh
    查看各個進程是否正常啟動，執行：jps。如果一切正常，將看到下列結果：
    11010 SecondaryNameNode
    10596 NameNode
    11349 NodeManager
    10777 DataNode
    10442 Jps

PS：如果你在本機使用了oh-my-zsh這個命令，則有可能會遇到下面的問題
問題一：
➜  ~  source ～/.bashrc
/etc/bashrc:37: command not found: shopt
/etc/bashrc:fc:38: event not found: -a
/etc/bashrc:40: command not found: shopt
/etc/bashrc:51: command not found: shopt

因為zsh的環境變量需要配置在~/.zshrc中，不再是～/.bashrc，所以你可以在相同的環境變量配置復制到～/.zshrc文件中，
source ～/.zshrc文件
------------------------------------------------------
問題二：
15/11/27 10:55:34 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
無法加載本地庫
可以先用命令查看狀態：
hadoop checknative –a

結果發現全是false,那么請檢查環境變量配置文件里面的如下兩項配置，是否添加了native:
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib/native"
如果沒有請添加上，然后再運行hadoop checknative -a命令：
結果會如下：
-> % hadoop checknative -a
15/11/30 11:24:38 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
15/11/30 11:24:38 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /opt/hadoop/hadoop_2_7_1_64/lib/native/libhadoop.so.1.0.0
zlib:    true /lib/x86_64-linux-gnu/libz.so.1
snappy:  false
lz4:     true revision:99
bzip2:   false
openssl: true /usr/lib/x86_64-linux-gnu/libcrypto.so
15/11/30 11:24:38 INFO util.ExitUtil: Exiting with status 1
到這里還是有兩個false,其實snappy，bzip2，lz4,zlib都是壓縮庫，所以有兩個為true，另外兩個為false也沒有太大的影響了。
問題三：
要注意安裝的hadoop所屬的用戶和用戶組與你本機的權限問題。
可以將其修改為本機常用用戶和用戶組，命令：
sudo chown coco:coco -R hadoop
問題四：
運行hadoop fs -ls時提示
ls: `.\\\': No such file or directory
此時，需要先建立目錄
hadoop fs -mkdir /user
再運行hadoop fs -ls /
-> % hadoop fs -ls /
Found 1 items
drwxr-xr-x   - coco supergroup          0 2015-11-30 10:38 /user

到此就結束了安裝全部過程。