摘要:dbeaver是免費和開源為開發人員和數據庫管理員通用數據庫工具。本文介紹如何配置dbeaver對接FusionInsigth MRS Spark2x。
本文分享自華為雲社區《DBeaver對接FusionInsight MRS Spark2x》,作者:晉紅輕 。
使用自定義JDBC對接Spark2x
- 在C:\ecotesting\Fiber\conf目錄下新建 jaas.conf 文件,內容如下所示:
Client { com.sun.security.auth.module.Krb5LoginModule required useKeyTab=true keyTab="C:\\ecotesting\\Fiber\\conf\\user.keytab" principal="developuser" useTicketCache=false storeKey=true debug=true; };
注意: 其中keyTab參數以及principal參數為對應的認證用戶名以及認證文件路徑
- 下載DBeaver軟件,並完成安裝.
- 指定DBeaver的JDK虛擬機.在DBeaver安裝目錄下,打開dbeaver.ini設置 -vm 參數的值,參數和值之間需要換行.
示例如下:
-vm C:\java64\jdk\bin 配置文件最后加上: -Djava.security.auth.login.config=C:\\ecotesting\\Fiber\\conf\\jaas.conf -Dzookeeper.sasl.clientconfig=Client -Dzookeeper.auth.type=kerberos -Dzookeeper.server.principal=zookeeper/hadoop.hadoop.com
- 重啟DBeaver.
修改dbeaver.ini后需要重啟DBeaver才生效.
- (重要 fi6.5.1)准備spark2x jdbc連接驅動jar包
登陸linux端spark2x客戶端找到jdbc相關依賴,比如:/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars/jdbc
將該路徑下所有的jar包拷貝到windows本地目錄,比如E:\145config\spark2xjars, 注意里面含有一個jdbc_pom.xml文件,需要刪除
繼續登陸linux端spark2x客戶端路徑/opt/145_651hdclient/hadoopclient/Spark2x/spark/jars,分別找到如下4個jar包,拷貝到windows本地目錄,比如E:\145config\spark2xjars
log4j-1.2.17.jar woodstox-core-5.0.3.jar stax2-api-3.1.4.jar commons-configuration2-2.1.1.jar
說明: 如果是mrs8.0.2版本准備的依賴為:
- 登陸linux端spark2x客戶端找到jdbc相關依賴,比如:/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars/jdbc下所有依賴
- 繼續登陸linux端spark2x客戶端路徑/opt/80_135_hadoopclient2/hadoopclient/Spark2x/spark/jars,分別找到如下5個jar包
log4j-1.2.17-atlassian-13.jar commons-lang-2.6.jar woodstox-core-5.0.3.jar stax2-api-3.1.4.jar commons-configuration2-2.1.jar
- 進入DBeaver界面,菜單選擇Database->DriverManager,在彈出的對話框中點擊 New.
- 新建的連接名字為FI-spark2x-651-direct,連接信息如下,完成后點擊OK
1. org.apache.hive.jdbc.HiveDriver 2. jdbc:hive2://172.16.4.141:24002,172.16.4.142:24002,172.16.4.143:24002/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=sparkthriftserver2x;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.hadoop.com@HADOOP.COM;user.principal=developuser;user.keytab=E:/145config/user.keytab 3. Hadoop 4. 點Add File在上述步驟配置好的spark2x連接所有jar包加進去
注意:連接url的user.principal=developuser;user.keytab=E:/145config/user.keytab這兩個參數必須加上,並且保證正確
連接url串,可在Linux客戶端使用spark-beeline命令獲取參考:
- 菜單欄選擇File->New->Database Connection.點擊 Next.
- 選擇FI-spark2x-651-direct點擊NEXT
- 點擊Finish
- 右鍵選擇FI-spark2x-651-direct點擊Edit Connection
- 點擊Test connection
mrs 8.0.2的測試結果如下:
- 查看結果數據
mrs 8.0.2的測試結果如下: