Ubuntu 13.10下Hadoop 2.2 安裝、配置、編譯（偽分布式）

1、安裝JDK。在此不做解說，上篇博文里已介紹過。http://www.cnblogs.com/lifeinsmile/p/3578677.html

2、配置ssh。

　　ssh服務，用於管理遠程Hadoop守護進程。

    2.1安裝ssh server：$sudo apt-get install openssh-server

    2.2免密碼ssh的設置: $ssh-keygen –t rsa  (輸入命令后一路回車即可)。

    2.3設置密鑰授權：

　　　　$ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

   　　   $cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    2.4安裝完成后，測試運行：$ ssh localhost  (嘗試用ssh連接本機，如果不需要輸入密碼則成功)

3、hadoop 2.2.0編譯。

　　可參考：http://blog.csdn.net/cruise_h/article/details/18709969

　　需要注意的是，在進行編譯時，一定要進入解壓目錄，確保當前目錄下存在pom.xml，否則編譯失敗。

4、hadoop2.2配置。（編譯好的文件夾hadoop-2.2.0放在目錄/home/hadoop 下）

　　4.1修改全局環境變量。 

　　　　$sudo gedit /etc/profile　　在文中添加一行：export HADOOP_HOME=/home/hadoop/hadoop-2.2.0

　　4.2修改配置文件。

　　　　待修改的配置文件存放於/home/haoop/hadoop-2.2.0/etc/hadoop，可將下列代碼直接粘貼到相應文件內。

　　　　文件core-site.xml

　　　　

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadoop-2.2.0/hadoop_tmp</value>
    </property>
    
</configuration>

　　文件hdfs-site.xml

<configuration>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/hadoop/namenode </value>
</property>
<property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/hadoop/datanode</value>
</property>
</configuration>

　　文件mapred-site.xml

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

5、hadoop啟動。

　　以下操作均在目錄/home/hadoop/hadoop-2.2.0下進行。

　　5.1 格式化namenode:    bin/hdfs namenode -format

　　5.2 啟動manager管理並測試。

　　　　方式一：sbin/yarn-daemon.sh start resourcemanager 　　sbin/yarn-daemon.sh start nodemanager

　　　　方式二：進入目錄sbin，分別執行./start-dfs.sh 與./start-yarn.sh，注意啟動順序

　　　　jps

　　　　若啟動成功即可在主節點上看到resourceManager與nameNode，在從節點上看到dataNode進程。

　　配置hadoop2.2過程中參考其他博文有http://my.oschina.net/u/179537/blog/189239

6、查看各節點信息

　　主節點地址：8088　　查看整個集群節點情況

　　詳見http://blog.csdn.net/zzhongcy/article/details/19912577