hadoop完全分布式模式搭建和hive安裝
簡介
Hadoop是用來處理大數據集合的分布式存儲計算基礎架構。可以使用一種簡單的編程模式，通過多台計算機構成的集群，分布式處理大數據集。hadoop作為底層，其生態環境很豐富。
hadoop基礎包括以下四個基本模塊：
- hadoop基礎功能庫：支持其他hadoop模塊的通用程序包。
- HDFS: 一個分布式文件系統，能夠以高吞吐量訪問應用的數據。
- YARN: 一個作業調度和資源管理框架。
- MapReduce: 一個基於YARN的大數據並行處理程序。
當然，hadoop相關的項目很多，包括HBase, Hive, Spark, ZooKeeper等。
基礎准備
基礎准備工作包括：安裝環境的准備，ssh配置
安裝環境的准備
首先需要3台機器（后續也可以擴展），我准備的是虛擬機中的3個ubuntu 16.04.2. 內存1G.
創建用戶：
| 機器名 | 用戶名 | IP | 密碼 | Node |
|---|---|---|---|---|
| master | hadoop | 10.10.10.3 | ** | NameNode |
| slave1 | hadoop | 10.10.10.4 | ** | DataNode |
| slave2 | hadoop | 10.10.10.5 | ** | DataNode |
# 更新apt
$ sudo apt-get update
# 安裝vim
$ sudo apt-get install vim
# 查看IP
$ ifconfig
# 新建用戶hadoop，主目錄為/home/hadoop
$ useradd -d /home/hadoop -m hadoop
# 將hadoop用戶加到root組
$ usermod -a -G root
# 重命名機器名
$ sudo vim /etc/hostname
# hostname
master
安裝java
# 檢驗java是否安裝
$ echo $JAVA_HOME
/usr/jdk/jdk1.8.0_121
$ java -version
ssh配置
主要目的是配置ssh免密碼，使3台機器可以互相訪問。
# 檢驗ssh是否安裝完成
$ ssh localhost
hadoop@master:~$ ssh slave1
Welcome to Ubuntu 16.04.2 LTS (GNU/Linux 4.8.0-49-generic x86_64)
* Documentation: https://help.ubuntu.com
* Management: https://landscape.canonical.com
* Support: https://ubuntu.com/advantage
257 packages can be updated.
3 updates are security updates.
*** System restart required ***
hadoop@slave1:~$
- 分別在四台機器上生成密鑰對
# 進入hadoop用戶主目錄
$ cd ~
# 生成密鑰對
$ ssh-keygen -t rsa
詳細可以參考其他文章。
hadoop安裝包
hadoop下載地址（2.9.0）：http://mirrors.hust.edu.cn/apache/hadoop/common/stable2/hadoop-2.9.0.tar.gz
hive下載地址（0.9.0）：http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz
# 解壓文件到/home/hadoop
$ cd <gzip文件目錄>
$ sudo tar -zxf hadoop-2.9.0.tar.gz -C /home/hadoop
hadoop可以先下載到windows，配置好后sftp到ubuntu /home/hadoop上。
主要修改如下：
- core-site.xml
- hadoop-env.sh
- hdfs-site.xml
- mapred-env.sh
- mapred-site.xml.template
- masters
- slaves
- yarn-site.xml
- yarn-evn.sh
新建目錄(按配置文件內容來)： - /home/hadoop/hadoop-2.9.0/tmp
- /home/hadoop/hadoop-2.9.0/tmp/dfs/name
- /home/hadoop/hadoop-2.9.0/tmp/dfs/data
然后，上傳到master. 再從主目錄復制到slave1, slave2上：
# 如下是復制命令，也可以打包后傳送
$ scp -r /home/hadoop/hadoop-2.9.0/ slave1:/home/hadoop
$ scp -r /home/hadoop/hadoop-2.9.0/ slave2:/home/hadoop
hadoop安裝后配置
環境變量設置
在/etc/profile中添加環境變量,需要在所有機器上執行
$ sudo vim /etc/profile
# 添加成功后執行
$ source /etc/profile
詳細內容如下：
export JAVA_HOME=/usr/jdk/jdk1.8.0_121
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export HADOOP_HOME=/home/hadoop/hadoop-2.9.0
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
完成配置
在master上執行
# 格式化HDFS
$ hdfs namenode -format
# 格式化成功后，啟動HDFS
$ start-dfs.sh
# 啟動YARN
$ start-yarn.sh
# 驗證
hadoop@master:~$ jps
3472 SecondaryNameNode
3255 NameNode
15307 Jps
可以ssh slave1, 用jps查看slave1上的情況。由於前面沒有配置YARN, 所以ResourceManager服務沒有啟動。
另外，可以在瀏覽器上查看NameNode: master:50070 或者 <10.10.10.3:50070>.
報錯
搭建過程中難免出錯，需要多看些文章。但是最重要是，看報錯的日志，分析原因。
我搭建中，主要遇到如下。第一個是用戶權限的問題，如下的hive也是如此。可以用ls -lh查看權限情況。第二、三兩個，主要是環境變量配置的問題，需要按教程一步步做。
- permission denied
- command not found
- jar包未發現
hive配置
hive安裝
hive軟件包下載好后，可以sftp到mater機器上。也可以直接在機器上操作。
# 注意需要大O
$ curl -O http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz
$ sudo tar -zxf hive-0.9.0.tar.gz -C /home/hadoop
$ cd /home/hadoop/hive-0.9.0
$ sudo mkdir warehouse
$ sudo chmod a+rwx /home/hadoop/hive-0.9.0/warehouse
# 其他命令
# 將文件夾名改為hadoop
$ sudo mv ./hadoop-2.9.0/ ./hadoop
# 刪除文件夾
# -r 就是向下遞歸，管理有多少級目錄，一並刪除
# -f 就是直接強行刪除，不作任何提示的意思
$ sudo rm -rf [文件夾名]
hive環境變量
只需要配置master即可：
# /etc/profile
export HIVE_HOME=/home/hadoop/hive-0.9.0/
export PATH=$PATH:$HIVE_HOME/bin
hive測試
$ cd $HIVE_HOME
$ bin/hive
hive> create table x (a int);
OK
Time taken: 6.267 seconds
hive> select *
> from x;
OK
Time taken: 0.532 seconds
hive> select * from x;
OK
Time taken: 0.082 seconds
hive> exit;
參考
[]hadoop構建數據倉庫實踐，王雪迎，清華大學出版社
[]hive編程指南，E.C., D.W., J.R., 曹坤，人民郵電出版社
[]http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html
[]http://blog.csdn.net/wild46cat/article/details/78939284
[]http://blog.csdn.net/ab198604/article/details/8250461
[]http://blog.csdn.net/EdwinBalance/article/details/78640323