SQuirrel連接hive配置


1.     簡介

  最近由於大數據部門相關同事離職,不得不研究一下大數據相關組件,今天成功安裝配置Hive,簡單記錄,一是為了加深印象,二是為以后備用,三是為大家提供參考,避免少踩坑。

  在Hive的官網上介紹三種可視化工具用於Windows系統中,可以通過JDBC連接Hive,包括:SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。由於個人精力有限目前只研究了一個工具,SQuirrel Sql client 可視化數據庫工具基本可滿足要求。

  Squirrel SQL Client是一個用Java寫的數據庫客戶端,用JDBC統一數據庫訪問接口以后,可以通過一個統一的用戶界面來操作MySQL、MSSQL、Hive、Phoenix等支持JDBC訪問的數據庫,可以在windows中直接連接Hive。

2.     下載地址及使用版本

  參考資料:官網地址 http://www.squirrelsql.org/, 可直接從官網下載。

  本教程使用Hive版本信息如下:

  使用命令:hive –version

  版本信息:Hive 2.3.3

  下載及安裝過程不再贅述,直接進入配置環節。

3.     Hive配置與啟動過程

  在使用SQuirrel SQL Client鏈接Hive之前,首先確保Hive的遠程metastore服務及HiveServer2服務已經啟動,並且有訪問權限。

3.1 配置遠程metastore服務

  1)首先配置hive集成mysql存儲metastore(本地或遠程mysql存儲,相信大家已經配置完成,如果沒有可參考文章***);

  2)配置hive客戶端,修改hive-site.xml:(服務器B-需要有hadoop環境)

  使用遠程metastore,配置如下:

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://metastore_server_ip:9083</value>        <!-- 此處是服務器ip -->
  <description></description>
</property>

  Hadoop的core-site.xml文件中配置hadoop代理用戶,配置如下:

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

  解釋:root用戶提交的任務可以在任意機器上以任意組的所有用戶的身份執行。 若不設置,后續連接時會報如下錯誤:

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.authorize.AuthorizationException):User: root is not allowed to impersonate anonymous

設置完成后,需要重啟Hadoop。(./stop-all.sh   ./start-all.sh)

    3)配置完成后,啟動服務:$HIVE_HOME/bin/hive --service metastore  & (默認監聽端口:9083)

3.2 啟動hiveservice2服務

  $HIVE_HOME/bin/hive --service hiveserver2 &

  經過以上兩個步驟,可查看已啟動的服務:

 

4.     SQuirrel配置

4.1 運行SQuirrel SQL Client

運行SQuirrel SQL Client程序,增加hive driver,如下圖所示:

 

4.2 配置驅動程序

如上圖,單擊加號,輸入相應參數,如下圖所示:

 

  其中,圖片序列號解釋:

    3 Example URL:jdbc:hive2://server_ip:10000/bbbTest。意思是:通過jdbc連接HiveServer2,端口號是10000,數據庫名稱為bbbTest。

    4與5通過【增加】指定附加類路徑。5表示依賴的Jar包,這些Jar包可以在Hadoop和Hive的安裝目錄中的lib文件夾中找到,包括:      

      commons-configuration-1.6.jar
      hadoop-common-2.8.4.jar
      hive-common-2.3.3.jar
      hive-contrib-2.3.3.jar
      hive-jdbc-2.3.3.jar
      hive-metastore-2.3.3.jar
      hive-serde-2.3.3.jar
      hive-service-2.3.3.jar
      hive-service-rpc-2.3.3.jar
      httpclient-4.4.jar
      httpcore-4.4.jar
      libthrift-0.9.3.jar

 

  6 類名(Class Name):org.apache.hive.jdbc.HiveDriver              【會自動加載,如果多個可選擇】

  正確無誤配置完成后,在已經注冊的Driver列表中,會顯示如下截圖,對號表示注冊成功,如果注冊失敗會有相應的紅色叉號。如下圖所示:

 

4.2 連接Hive Server服務

驅動安裝成功后,切換到【別名】頁,單擊加號如下順序,配置相關參數,測試成功。

 

4.3 打開已創建的數據庫

 

4.4 新創建數據庫

  打開 Sql 查詢窗口,創建一個表,Sql如下:    

CREATE TABLE server_log(logtime INT, userid BIGINT, username STRING, address STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';

  執行:show tables;  如下圖所示:

 

  或查看對象,如下圖所示:

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM