手把手教你如何配置DBeaver對接FusionInsigth MRS Spark2x


摘要:dbeaver是免費和開源為開發人員和數據庫管理員通用數據庫工具。本文介紹如何配置dbeaver對接FusionInsigth MRS Spark2x。

本文分享自華為雲社區《DBeaver對接FusionInsight MRS Spark2x》,作者:晉紅輕 。

使用自定義JDBC對接Spark2x

  • 在C:\ecotesting\Fiber\conf目錄下新建 jaas.conf 文件,內容如下所示:
Client {
  com.sun.security.auth.module.Krb5LoginModule required
  useKeyTab=true
  keyTab="C:\\ecotesting\\Fiber\\conf\\user.keytab"
  principal="developuser"
  useTicketCache=false
  storeKey=true
  debug=true;
};

注意: 其中keyTab參數以及principal參數為對應的認證用戶名以及認證文件路徑

  • 下載DBeaver軟件,並完成安裝.
  • 指定DBeaver的JDK虛擬機.在DBeaver安裝目錄下,打開dbeaver.ini設置 -vm 參數的值,參數和值之間需要換行.

示例如下:

-vm
C:\java64\jdk\bin

配置文件最后加上:
-Djava.security.auth.login.config=C:\\ecotesting\\Fiber\\conf\\jaas.conf
-Dzookeeper.sasl.clientconfig=Client
-Dzookeeper.auth.type=kerberos
-Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com
  • 重啟DBeaver.

修改dbeaver.ini后需要重啟DBeaver才生效.

  • (重要 fi6.5.1)准備spark2x jdbc連接驅動jar包

登陸linux端spark2x客戶端找到jdbc相關依賴,比如:/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars/jdbc

將該路徑下所有的jar包拷貝到windows本地目錄,比如E:\145config\spark2xjars, 注意里面含有一個jdbc_pom.xml文件,需要刪除

繼續登陸linux端spark2x客戶端路徑/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars,分別找到如下4個jar包,拷貝到windows本地目錄,比如E:\145config\spark2xjars

log4j-1.2.17.jar
woodstox-core-5.0.3.jar
stax2-api-3.1.4.jar
commons-configuration2-2.1.1.jar

說明: 如果是mrs8.0.2版本准備的依賴為:

  • 登陸linux端spark2x客戶端找到jdbc相關依賴,比如:/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars/jdbc下所有依賴
  • 繼續登陸linux端spark2x客戶端路徑/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars,分別找到如下5個jar包
log4j-1.2.17-atlassian-13.jar
commons-lang-2.6.jar
woodstox-core-5.0.3.jar
stax2-api-3.1.4.jar
commons-configuration2-2.1.jar
  • 進入DBeaver界面,菜單選擇Database->DriverManager,在彈出的對話框中點擊 New.

  • 新建的連接名字為FI-spark2x-651-direct,連接信息如下,完成后點擊OK

1. org.apache.hive.jdbc.HiveDriver
2. jdbc:hive2://172.16.4.141:24002,172.16.4.142:24002,172.16.4.143:24002/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.hadoop.com@HADOOP.COM;user.principal=developuser;user.keytab=E:/145config/user.keytab
3. Hadoop
4. 點Add File在上述步驟配置好的spark2x連接所有jar包加進去

注意:連接url的user.principal=developuser;user.keytab=E:/145config/user.keytab這兩個參數必須加上,並且保證正確

連接url串,可在Linux客戶端使用spark-beeline命令獲取參考:

  • 菜單欄選擇File->New->Database Connection.點擊 Next.

  • 選擇FI-spark2x-651-direct點擊NEXT

  • 點擊Finish

  • 右鍵選擇FI-spark2x-651-direct點擊Edit Connection

  • 點擊Test connection

mrs 8.0.2的測試結果如下:

  • 查看結果數據

mrs 8.0.2的測試結果如下:

 

點擊關注,第一時間了解華為雲新鮮技術~


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM