1. 安装hadoop
最近想学习下hadoop的使用，尝试在mac上进行安装。这里也放一下mac安装hadoop的简单教程。安装hadoop在mac上非常简单，使用brew这个工具可以非常方便的安装hadoop。安装好brew之后，直接使用
brew install hadoop
即可安装hadoop2.7.3。
重要的部分是如何配置hadoop的一些文件，一共要配置5个文件。
- hadoop-env.sh(配置hadoop环境)
- core-site.xml(配置NameNode主机名与端口)
- hdfs-site.xml(配置HDFS的默认参数副本数)
- mapred-site.xml(配置JobTracker主机名与端口)
- yarn-site.xml
这五个文件的位置在/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop中。如果该目录下没有，应该是以*.xml.template形式存在，直接复制改名为*.xml再进行配置。
这五个个文件的配置主要参考这个链接，直接复制代码到对应的文件即可。但是要注意vim core-site.xml的过程中，原文作者指定的hadoop.tmp.dir到他hadoop的目录下，由于我们使用的是brew安装，所以我们可以把
<value>/Users/k/hadoop-2.7.2/tmp/hadoop-${user.name}</value>
改为brew安装的hadoop的默认位置
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
2. 免密码登录localhost
首先可以尝试这个链接中的方法
1. ssh-keygen -t rsa
Press enter for each line 提示输入直接按回车就好
2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
3. chmod og-wx ~/.ssh/authorized_keys
测试 ssh localhost如果仍然提示要输入密码，那么可以vim ~/.ssh/config文件，添加以下代码。
Host localhost
AddKeysToAgent yes
UseKeychain yes
IdentityFile ~/.ssh/id_rsa
测试 ssh localhost，不再提示需要输入密码。
3. 测试
完成上述步骤后，开始测试安装。
首先安装HDFS并格式化namenode
hdfs namenode -format
之后启动hadoop
start-all.sh
验证安装是否成功
输入jps
或者
打开http://localhost:50070,进入hdfs管理页面
打开http://localhost:8088,进入hadoop进程管理页面
验证完毕关闭hadoop
stop-all.sh