歡迎轉載，轉載請注明出處，徽滬一郎。
楔子
Hive是基於Hadoop的開源數據倉庫工具，提供了類似於SQL的HiveQL語言，使得上層的數據分析人員不用知道太多MapReduce的知識就能對存儲於Hdfs中的海量數據進行分析。由於這一特性而收到廣泛的歡迎。
Hive的整體框架中有一個重要的模塊是執行模塊，這一部分是用Hadoop中MapReduce計算框架來實現，因而在處理速度上不是非常令人滿意。由於Spark出色的處理速度，有人已經成功將HiveQL的執行利用Spark來運行，這就是已經非常聞名的Shark開源項目。
在Spark 1.0中，Spark自身提供了對Hive的支持。本文不准備分析Spark是如何來提供對Hive的支持的，而只着重於如何搭建Hive On Spark的測試環境。
安裝概覽
整體的安裝過程分為以下幾步
- 搭建Hadoop集群 (整個cluster由3台機器組成，一台作為Master,另兩台作為Slave)
- 編譯Spark 1.0，使其支持Hadoop 2.4.0和Hive
- 運行Hive on Spark的測試用例 (Spark和Hadoop Namenode運行在同一台機器)
Hadoop集群搭建
創建虛擬機
創建基於kvm的虛擬機，利用libvirt提供的圖形管理界面，創建3台虛擬機，非常方便。內存和ip地址分配如下
- master 2G 192.168.122.102
- slave1 4G 192.168.122.103
- slave2 4G 192.168.122.104
在虛擬機上安裝os的過程就略過了，我使用的是arch linux，os安裝完成之后，確保以下軟件也已經安裝
- jdk
- openssh
創建用戶組和用戶
在每台機器上創建名為hadoop的用戶組，添加名為hduser的用戶，具體bash命令如下所示
groupadd hadoop
useradd -b /home -m -g hadoop hduser
passwd hduser
無密碼登錄
在啟動slave機器上的datanode或nodemanager的時候需要輸入用戶名密碼，為了避免每次都要輸入密碼，可以利用如下指令創建無密碼登錄。注意是從master到slave機器的單向無密碼。
cd $HOME/.ssh
ssh-keygen -t dsa
將id_dsa.pub復制為authorized_keys，然后上傳到slave1和slave2中的$HOME/.ssh目錄
cp id_dsa.pub authorized_keys
#確保在slave1和slave2機器中，hduser的$HOME目錄下已經創建好了.ssh目錄
scp authorized_keys slave1:$HOME/.ssh
scp authorized_keys slave2:$HOME/.ssh
更改每台機器上的/etc/hosts
在組成集群的master, slave1和slave2中，向/etc/hosts文件添加如下內容
192.168.122.102 master
192.168.122.103 slave1
192.168.122.104 slave2
如果更改完成之后，可以在master上執行ssh slave1來進行測試，如果沒有輸入密碼的過程就直接登錄入slave1就說明上述的配置成功。
下載hadoop 2.4.0
以hduser身份登錄master，執行如下指令
cd /home/hduser
wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gz
mkdir yarn
tar zvxf hadoop-2.4.0.tar.gz -C yarn
修改hadoop配置文件
添加如下內容到.bashrc
export HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
修改$HADOOP_HOME/libexec/hadoop-config.sh
在hadoop-config.sh文件開頭處添加如下內容
export JAVA_HOME=/opt/java
$HADOOP_CONF_DIR/yarn-env.sh
在yarn-env.sh開頭添加如下內容
export JAVA_HOME=/opt/java
export HADOOP_HOME=/home/hduser/yarn/hadoop-2.4.0
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
xml配置文件修改
文件1： $HADOOP_CONF_DIR/core-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hduser/yarn/hadoop-2.4.0/tmp</value>
</property>
</configuration>
文件2: $HADOOP_CONF_DIR/hdfs-site.xml
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
文件3: $HADOOP_CONF_DIR/mapred-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
文件4: $HADOOP_CONF_DIR/yarn-site.xml
<?xml version="1.0"?>
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8040</value>
</property>
</configuration>
文件5: $HADOOP_CONF_DIR/slaves
在文件中添加如下內容
slave1
slave2
創建tmp目錄
在$HADOOP_HOME下創建tmp目錄
mkdir $HADOOP_HOME/tmp
復制yarn目錄到slave1和slave2
剛才所作的配置文件更改發生在master機器上，將整個更改過的內容全部復制到slave1和slave2。
for target in slave1 slave2
do
scp -r yarn $target:~/
scp $HOME/.bashrc $target:~/
done
批量處理是不是很爽
格式化namenode
在master機器上對namenode進行格式化
bin/hadoop namenode -format
啟動cluster集群
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemons.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemons.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
注意： daemon.sh表示只在本機運行，daemons.sh表示在所有的cluster節點上運行。
驗證hadoop集群安裝正確與否
跑一個wordcount示例，具體步驟不再列出，可參考本系列中的第11篇
編譯Spark 1.0
Spark的編譯還是很簡單的，所有失敗的原因大部分可以歸結於所依賴的jar包無法正常下載。
為了讓Spark 1.0支持hadoop 2.4.0和hive，請使用如下指令編譯
SPARK_HADOOP_VERSION=2.4.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly
如果一切順利將會在assembly目錄下生成 spark-assembly-1.0.0-SNAPSHOT-hadoop2.4.0.jar
創建運行包
編譯之后整個$SPARK_HOME目錄下所有的文件體積還是很大的，大概有兩個多G。有哪些是運行的時候真正需要的呢，下面將會列出這些目錄和文件。
- $SPARK_HOME/bin
- $SPARK_HOME/sbin
- $SPARK_HOME/lib_managed
- $SPARK_HOME/conf
- $SPARK_HOME/assembly/target/scala-2.10
將上述目錄的內容復制到/tmp/spark-dist，然后創建壓縮包
mkdir /tmp/spark-dist
for i in $SPARK_HOME/{bin,sbin,lib_managed,conf,assembly/target/scala-2.10}
do
cp -r $i /tmp/spark-dist
done
cd /tmp/
tar czvf spark-1.0-dist.tar.gz spark-dist
上傳運行包到master機器
將生成的運行包上傳到master(192.168.122.102)
scp spark-1.0-dist.tar.gz hduser@192.168.122.102:~/
運行hive on spark測試用例
經過上述重重折磨，終於到了最為緊張的時刻了。
以hduser身份登錄master機，解壓spark-1.0-dist.tar.gz
#after login into the master as hduser
tar zxvf spark-1.0-dist.tar.gz
cd spark-dist
更改conf/spark-env.sh
export SPARK_LOCAL_IP=127.0.0.1
export SPARK_MASTER_IP=127.0.0.1
運行最簡單的example
用bin/spark-shell指令啟動shell之后,運行如下scala代碼
val sc: SparkContext // An existing SparkContext.
val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)
// Importing the SQL context gives access to all the public SQL functions and implicit conversions.
import hiveContext._
hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")
hql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src")
// Queries are expressed in HiveQL
hql("FROM src SELECT key, value").collect().foreach(println)
如果一切順利，最后一句hql會返回key及value