y歡迎轉載，轉載請注明出處，徽滬一郎。
概要
“spark已經比較頭痛了，還要將其運行在yarn上，yarn是什么，我一點概念都沒有哎，再怎么辦啊。不要跟我講什么原理了，能不能直接告訴我怎么將spark在yarn上面跑起來，I'm a dummy, just told me how to do it.”
如果你和我一樣是一個對形而上的東西不是太感興趣，而只糾結於怎么去做的話，看這份guide保證不會讓你失望, :)。
前期准備
本文所有的操作基於arch linux，保證下述軟件已經安裝
- jdk
- scala
- maven
搭建hadoop
hadoop像它的Logo一樣，真得是一個體形無比巨大的大象，如果直接入手去搞這個東東的話，肯定會昏上好長一段時間。個人取巧，從storm弄起，一路走來還算平滑。
hadoop最主要的是hdfs和MapReduce Framework，針對第二代的hadoop即hadoop 2這個Framework變成了非常流行的YARN, 要是沒聽說過YARN，都不好意思說自己玩過Hadoop了。
不開玩笑了，注意上面一段話中最主要的信息就是hdfs和mapreduce framework，我們接下來的所有配置都是圍繞這兩個主題來的。
創建用戶
添加用戶組: hadoop, 添加用戶hduser
groupadd hadoop
useradd -b /home -m -g hadoop hduser
下載hadoop運行版
假設當前是以root用戶登錄，現在要切換成用戶hduser
su - hduser
id ##檢驗一下切換是否成功，如果一切ok,將顯示下列內容
uid=1000(hduser) gid=1000(hadoop) groups=1000(hadoop)
下載hadoop 2.4並解壓
cd /home/hduser
wget http://mirror.esocc.com/apache/hadoop/common/hadoop-2.4.0/hadoop-2.4.0.tar.gz
tar zvxf hadoop-2.4.0.tar.gz
設置環境變量
export HADOOP_HOME=$HOME/hadoop-2.4.0
export HADOOP_MAPRED_HOME=$HOME/hadoop-2.4.0
export HADOOP_COMMON_HOME=$HOME/hadoop-2.4.0
export HADOOP_HDFS_HOME=$HOME/hadoop-2.4.0
export HADOOP_YARN_HOME=$HOME/hadoop-2.4.0
export HADOOP_CONF_DIR=$HOME/hadoop-2.4.0/etc/hadoop
為了避免每次都要重復設置這些變量，可以將上述語句加入到.bashrc文件中。
創建目錄
接下來創建的目錄是為hadoop中hdfs相關的namenode即datanode使用
mkdir -p $HOME/yarn_data/hdfs/namenode
mkdir -p $HOME/yarn_data/hdfs/datanode
修改Hadoop配置文件
下列文件需要相應的配置
- yarn-site.xml
- core-site.xml
- hdfs-site.xml
- mapred-site.xml
切換到hadoop安裝目錄
$cd $HADOOP_HOME
修改etc/hadoop/yarn-site.xml, 在<configuration>和</configuration>之間添加如下內容，其它文件添加位置與此一致
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
etc/hadoop/core-site.xml
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> <!--YarnClient會用到該配置項--> </property>
etc/hadoop/hdfs-site.xml
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/hduser/yarn_data/hdfs/namenode</value> <!--節點格式化中被用到--> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/hduser/yarn_data/hdfs/datanode</value> </property>
etc/hadoop/mapred-site.xml
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
格式化namenode
$ bin/hadoop namenode -format
啟動hdfs相關進程
啟動namenode
$ sbin/hadoop-daemon.sh start namenode
啟動datanode
$sbin/hadoop-daemon.sh start datanode
啟動mapreduce framework相關進程
啟動Resource Manager
sbin/yarn-daemon.sh start resourcemanager啟動Node Manager
sbin/yarn-daemon.sh start nodemanager
啟動Job History Server
sbin/mr-jobhistory-daemon.sh start historyserver驗證部署
$jps
18509 Jps
17107 NameNode
17170 DataNode
17252 ResourceManager
17309 NodeManager
17626 JobHistoryServer
運行wordCount
驗證一下hadoop搭建成功與否的最好辦法就是在上面跑個wordcount試試
$mkdir in
$cat > in/file
This is one line
This is another line
將文件復制到hdfs中
$bin/hdfs dfs -copyFromLocal in /in
運行wordcount
bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount /in /out
查看運行結果
bin/hdfs dfs -cat /out/*
先歇一會，配置到這里，已經一頭汗了，接下來將spark在yarn上的運行,再堅持一小會
在yarn上運行SparkPi
下載spark
下載spark for hadoop2的版本
運行SparkPi
繼續以hduser身份運行，最主要的一點就是設置YARN_CONF_DIR或HADOOP_CONF_DIR環境變量
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
SPARK_JAR=./assembly/target/scala-2.10/spark-assembly_2.10-0.9.1-hadoop2.2.0.jar \
./bin/spark-class org.apache.spark.deploy.yarn.Client \
--jar ./examples/target/scala-2.10/spark-examples_2.10-assembly-0.9.1.jar \
--class org.apache.spark.examples.JavaSparkPi \
--args yarn-standalone \
--num-workers 1 \
--master-memory 512m \
--worker-memory 512m \
--worker-cores 1
檢查運行結果
運行結果保存在相關application的stdout目錄，使用以下指令可以找到
cd $HADOOP_HOME
find . -name "*stdout"
假設找到的文件為./logs/userlogs/application_1400479924971_0002/container_1400479924971_0002_01_000001/stdout，使用cat可以看到結果
cat ./logs/userlogs/application_1400479924971_0002/container_1400479924971_0002_01_000001/stdout
Pi is roughly 3.14028