Spark新手入門——2.Hadoop集群(偽分布模式)安裝

歡迎大家關注我的公眾號，“互聯網西門二少”，我將繼續輸出我的技術干貨~

主要包括以下三部分，本文為第二部分：
一. Scala環境准備 查看
二. Hadoop集群(偽分布模式)安裝
三. Spark集群(standalone模式)安裝 查看

Hadoop集群(偽分布模式)安裝

1. 依賴項：jdk(hadoop與java版本兼容性參考鏈接)、ssh；
   執行ssh localhost若提示：

   localhost: ssh: connect to host localhost port 22: Connection refused
   

   則需要:
   a.檢查是否安裝了openssh，若沒有則建議通過brew install openssh安裝(需要先安裝brew，安裝brew前還需要先安裝xcode，安裝方法見官網，官網的方法若超時，可以先在瀏覽器中打開curl鏈接並復制到本地保存(如~/Desktop/install)，然后修改安裝命令為:
   /usr/bin/ruby -e "$(cat ~/Desktop/install)"
   )，啟動方式：
   sudo /usr/sbin/sshd

   若啟動失敗並提示：
   Could not load host key: /etc/ssh/ssh_host_rsa_key
   Could not load host key: /etc/ssh/ssh_host_dsa_key
   Could not load host key: /etc/ssh/ssh_host_ecdsa_key
   Could not load host key: /etc/ssh/ssh_host_ed25519_key

   則，執行以下操作后重新啟動：
   sudo cp ~/.ssh/id_rsa /etc/ssh/ssh_host_rsa
sudo cp ~/.ssh/id_rsa.pub /etc/ssh/ssh_host_rsa.pub

   啟動后通過ps -ef | grep ssh檢查ssh服務是否存在
   b.檢查是否存在以下文件，且authorized_keys 中包含id_rsa.pub中的內容
   ~/.ssh/id_rsa.pub
~/.ssh/id_rsa
~/.ssh/authorized_keys

   若沒有id_rsa.*文件，則執行以下操作：
   ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

2. 修改/etc/hosts文件(可選)
   添加本機ip到localhost的映射(sudo vim /etc/hosts)，如下所示：

   xx.xx.xx.xx    localhost
   

   這一步是為了可以使用形如：hdfs://xx.xx.xx.xx:9000/file/path的格式訪問hdfs，否則只能使用localhost。

3. 下載hadoop-2.7.6安裝包，解壓到~/tools/hadoop-2.7.6；

4. 修改配置
   a.etc/hadoop/core-site.xml中添加如下配置：

       <configuration>
   	<property>
   		<name>fs.defaultFS</name>
   		<value>hdfs://localhost:9000</value>
   	</property>
   </configuration>
       ```
   
   b.etc/hadoop/hdfs-site.xml中添加如下配置：
   ```xml
       <configuration>
   	<property>
   		<name>dfs.replication</name>
   		<value>1</value>
   </configuration>
       ```
   
   <b>以上為hdfs相關配置，若要使用yarn，還需進行以下配置</b>
   c.拷貝etc/hadoop/mapred-site.xml.template到etc/hadoop/mapred-site.xml並添加如下配置：
   ```xml
       <configuration>
   	<property>
   		<name>mapreduce.framework.name</name>
   		<value>yarn</value>
   	</property>
   </configuration>
       ```
   
   d.etc/hadoop/yarn-site.xml中添加如下配置：
   ```xml
       <configuration>
   	<property>
   		<name>yarn.nodemanager.aux-services</name>
   		<value>mapreduce_shuffle</value>
   	</property>
   </configuration>
       ```
   
   注：默認存儲路徑為/tmp/hadoop-&lt;username&gt;/，可以通過配置 “dfs.namenode.name.dir”、 “dfs.datanode.data.dir” 顯式指定，參考[文檔](http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/ClusterSetup.html#Configuring_the_Hadoop_Daemons "文檔")；
   
   

5. 啟動服務
   a.格式化namenode
   ./bin/hdfs namenode -format

   b.啟動HDFS
   ./sbin/start-dfs.sh
   c.若要啟用歷史任務服務，執行以下命令：
   ./sbin/mr-jobhistory-daemon.sh start historyserver

   d.若要使用yarn，執行以下命令
   ./sbin/start-yarn.sh

   啟動后通過jps命令查看啟動的服務，應包含：DataNode、NameNode、SecondaryNameNode(若啟動了yarn，還包括：NodeManager、ResourceManager；若啟動了歷史服務，還包括：JobHistoryServer)；

6. 通過以下網址查看服務狀態
   a.歷史任務：http://localhost:19888/
   b.集群狀態：http://localhost:8088/
   c.NameNode狀態：http://localhost:50070/

7. 測試
   通過以下命令測試hdfs是否可用：
   ./bin/hadoop fs -ls /
./bin/hadoop fs -ls hdfs://localhost:9000/
./bin/hadoop fs -ls hdfs://xx.xx.xxx.xxx:9000/
./bin/hdfs dfs -ls /
./bin/hdfs dfs -ls hdfs://localhost:9000/
./bin/hdfs dfs -ls hdfs://xx.xx.xxx.xxx:9000/

   若服務可用，需要創建以下目錄：
   hdfs://localhost:9000/user/<username>

8. 停止服務
   可將以下命令寫入stop.sh批量執行：
   ./sbin/stop-dfs.sh
./sbin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

注：若配置了yarn(4.c)，則官網中下面的例子是無法成功執行的；若只配置了hdfs(4.a，4.b)，是沒有問題的：

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output 'dfs[a-z.]+'

參考文檔：官方文檔