Spark2.0.2+Zeppelin0.6.2 環境搭建初探

本文轉載自查看原文 2017-01-17 20:11 2367 Zeppelin

0.抱怨與其他（此部分與標題沒有太多聯系）：

首先一點想說的是版本問題，為什么標題我會寫清楚版本號呢！原因就是版本不對真的很會坑人。

就在寫這篇博客的同一天，我還寫了另一篇，是

Hadoop2.7.3+Spark2.1.0 完全分布式環境搭建全過程

坑人的地方在哪里呢，Zeppelin0.6.2不支持Spark2.1.0這個版本

於是我又仔細的查看了官網的教程：

得出的結論是我必須要裝老版本的，還好的是支持Spark2.0，於是我又安裝了Spark2.0.2

不過呢如果你沒有任何的集群環境，上面這篇是值得參考的，只不過你得自己改下版本號，從2.1.0到2.0.2，其他完全一樣。

1.下載Zeppelin

wget http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.2/zeppelin-0.6.2-bin-all.tgz

2.解壓並移動到相應的文件夾：

tar -xvf zeppelin-0.6.2-bin-all.tgz
mv zepplin-0.6.2-bin-all /opt

3.安裝並修改配置文件：

（1）安裝

網絡安裝版需要運行下面的命令：

./bin/install-interpreter.sh --all

而完整版不需要，直接進入到zeppelin的根目錄修改配置文件即可。

cd zepplin-0.6.2-bin-all

（2）/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_112/
export MASTER="spark://master:7077"
export SPARK_HOME=/opt/spark-2.0.2-bin-hadoop2.7/
export HADOOP_HOME=/opt/hadoop-2.7.3/
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

（3）/opt/zeppelin-0.6.2-bin-all/conf/zeppelin-site.xml

為了防止端口沖突我們將8080改為8099，具體情況要看自己的機子決定：

<property>
  <name>zeppelin.server.port</name>
  <value>8099</value>
  <description>Server port.</description>
</property>

4.啟動或關閉：

修改之前的啟動腳本為:

#!/bin/bash
echo -e "\033[31m ========Start The Cluster======== \033[0m"
echo -e "\033[31m Starting Hadoop Now !!! \033[0m"
/opt/hadoop-2.7.3/sbin/start-all.sh
echo -e "\033[31m Starting Spark Now !!! \033[0m"
/opt/spark-2.0.2-bin-hadoop2.7/sbin/start-all.sh
echo -e "\033[31m Starting Zeppelin Now !!! \033[0m"
/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh start
echo -e "\033[31m The Result Of The Command \"jps\" :  \033[0m"
jps
echo -e "\033[31m ========END======== \033[0m"

修改之前的關閉腳本為：

#!/bin/bash
echo -e "\033[31m ===== Stoping The Cluster ====== \033[0m"
echo -e "\033[31m Stoping Zeppelin Now !!! \033[0m"
/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh stop
echo -e "\033[31m Stoping Spark Now !!! \033[0m"
/opt/spark-2.0.2-bin-hadoop2.7/sbin/stop-all.sh
echo -e "\033[31m Stopting Hadoop Now !!! \033[0m"
/opt/hadoop-2.7.3/sbin/stop-all.sh
echo -e "\033[31m The Result Of The Command \"jps\" :  \033[0m"
jps
echo -e "\033[31m ======END======== \033[0m"