1. 安裝hadoop
最近想學習下hadoop的使用，嘗試在mac上進行安裝。這里也放一下mac安裝hadoop的簡單教程。安裝hadoop在mac上非常簡單，使用brew這個工具可以非常方便的安裝hadoop。安裝好brew之后，直接使用
brew install hadoop
即可安裝hadoop2.7.3。
重要的部分是如何配置hadoop的一些文件，一共要配置5個文件。
- hadoop-env.sh(配置hadoop環境)
- core-site.xml(配置NameNode主機名與端口)
- hdfs-site.xml(配置HDFS的默認參數副本數)
- mapred-site.xml(配置JobTracker主機名與端口)
- yarn-site.xml
這五個文件的位置在/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop中。如果該目錄下沒有，應該是以*.xml.template形式存在，直接復制改名為*.xml再進行配置。
這五個個文件的配置主要參考這個鏈接，直接復制代碼到對應的文件即可。但是要注意vim core-site.xml的過程中，原文作者指定的hadoop.tmp.dir到他hadoop的目錄下，由於我們使用的是brew安裝，所以我們可以把
<value>/Users/k/hadoop-2.7.2/tmp/hadoop-${user.name}</value>
改為brew安裝的hadoop的默認位置
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
2. 免密碼登錄localhost
首先可以嘗試這個鏈接中的方法
1. ssh-keygen -t rsa
Press enter for each line 提示輸入直接按回車就好
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. chmod og-wx ~/.ssh/authorized_keys
測試 ssh localhost如果仍然提示要輸入密碼，那么可以vim ~/.ssh/config文件，添加以下代碼。
Host localhost
AddKeysToAgent yes
UseKeychain yes
IdentityFile ~/.ssh/id_rsa
測試 ssh localhost，不再提示需要輸入密碼。
3. 測試
完成上述步驟后，開始測試安裝。
首先安裝HDFS並格式化namenode
hdfs namenode -format
之后啟動hadoop
start-all.sh
驗證安裝是否成功
輸入jps
或者
打開http://localhost:50070,進入hdfs管理頁面
打開http://localhost:8088,進入hadoop進程管理頁面
驗證完畢關閉hadoop
stop-all.sh