大數據運維(56)zeppelin環境搭建及連接hive使用


 

一、准備工作

1.zepeelin簡介

Zeppelin是一個基於Web的notebook,提供交互數據分析和可視化。后台支持接入多種數據處理引擎,如spark,hive等。支持多種語言: Scala(Apache Spark)、Python(Apache Spark)、SparkSQL、 Hive、 Markdown、Shell等。

2.安裝包下載

鏈接:http://zeppelin.apache.org/download.html

選擇 zeppelin-0.8.1-bin-all.tgz

3.環境要求

本文使用zepplin連接hive,所以需要虛擬機提前安裝好hadoop以及hive
安裝hadoop參考:https://blog.csdn.net/and52696686/article/details/107287066
安裝hive參考:https://blog.csdn.net/and52696686/article/details/107007007

二、解壓安裝

將下載好的安裝包文件拖拽至之前創建好的linux系統 /opt/software 目錄下
解壓並重命名:

tar -zxvf zeppelin-0.8.1-bin-all.tgz -C /opt/install/
mv zeppelin-0.8.1-bin-all/ zeppelin081

三、修改配置文件

切換至zeppelin配置文件conf目錄下

cd /opt/install/zeppelin/conf

1.修改配置文件zeppelin-site.xml

復制並重命名

cp zeppelin-site.xml.template zeppelin-site.xml
vi zeppelin-site.xml

進入文件需修改兩處
在這里插入圖片描述
在下插入以下代碼:

<!-- 修改端口配置,便於訪問國外網站 -->
<property>
  <name>zeppelin.helium.registry</name>
  <value>helium</value>
</property>

修改端口號:默認是8080,為避免沖突,修改為其他端口號
修改后如圖
在這里插入圖片描述

2.修改zeppelin的環境文件

在當前conf目錄下拷貝zeppelin系統腳本並重命名

cp zeppelin-env.sh.template zeppelin-env.sh

編輯

vi zeppelin-env.sh

修改下圖;兩處紅框位置 "JAVA_HOME路徑"和 “HADOOP_CONF_DIR配置文件路徑”
在這里插入圖片描述
在這里插入圖片描述
修改后:
在這里插入圖片描述
在這里插入圖片描述

四、啟動zepeelin

切換至zeppelin/bin目錄下,啟動:

cd /opt/install/zeppelin081/bin
./zeppelin-daemon.sh start

啟動成功如下圖:會提示ok
在這里插入圖片描述
在web端輸入: 192.168.206.129:8000
zeppeline啟動較慢,虛擬機界面提示啟動成功需耐心等待一會才可以打開網頁:
在這里插入圖片描述
關閉 zeppelin:

./zeppelin-daemon.sh stop

五、配置hive解釋器

Zepplin中沒有默認的hive解釋器,所以需要通過jdbc解釋器進行添加

1.配置hive的環境變量至zeppelin中

①:拷貝 hive/conf 文件夾下的 hive-site.xml 到zeppelin081/conf目錄下

cp /opt/install/hive/conf/hive-site.xml /opt/install/zeppelin081/conf

②:拷貝jar包
拷貝下面兩個jar包到zeppelin安裝目錄下 interperter/jdbc 中
hadoop/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar
hive/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar

 cp /opt/install/hadoop260/share/hadoop/common/hadoop-common-2.6.0-cdh5.14.2.jar /opt/install/zeppelin081/interpreter/jdbc/
cp /opt/install/hive/lib/hive-jdbc-1.1.0-cdh5.14.2-standalone.jar /opt/install/zeppelin081/interpreter/jdbc/

2.在web頁面配置集成hive

2.1需先啟動hadoop和hive服務

start-all.sh
zkServer.sh start
service mysql start
hive --service metastore	#進程需獨占一窗口
nohup hive --service hiveserver2 &	#進程需獨占一窗口

配置hive壞境前一定要確認beelin服務能正常啟動,因為zeppelin中搭載hive環境是通過beeine來連接的

2.2啟動zeppelin服務

若之前啟動過沒有關閉不用再次啟動

cd /opt/install/zeppelin081/bin
./zeppelin-daemon.sh start

2.3打開網頁創建hive集成環境

網址:192.168.206.129:8000
①:右上角anonymous --> interpreter --> +Create新建一個叫做hive的集成環境
在這里插入圖片描述
在這里插入圖片描述

②:設置properties
創建分組名就叫做 hive ,分組為 jdbc
在這里插入圖片描述
設置下圖三處紅框位置內容即可
default.driver : org.apache.hive.jdbc.HiveDriver
default.url : jdbc:hive2://192.168.42.200:10000
default.user : null
在這里插入圖片描述
設置完成保存即可

六、使用Zepplin的hive解釋器

1.創建notebook節點

在zepplin中,點擊notebook,通過create new note創建一個notebook.
其中name可以任意,Default Interpreter選擇hive
在這里插入圖片描述
在這里插入圖片描述

2.驗證hive解釋器

注意,zepplin中操作hive不能有分號

%hive
show databases

在這里插入圖片描述
繼續測試
在這里插入圖片描述

以上測試無報錯信息,說明zeppelin連接hive成功!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM