前言
HDP version: 3.x
HIVE version: 3.x
問題描述
使用hdp版本的集群服務,當安裝好spark以后,執行spark.sql ,不能查詢到hive的數據庫,只查詢到default數據庫,說明spark沒有連接到hive。
問題現象
分析:
1、通過上圖可以看到spark加載的hive-site.xml文件。
2、可以看到hive的版本是3.0
3、可以看到spark連接到metastore元數據服務了
4、執行show databases時候,只顯示了default默認數據庫
解決
上述提到了一個加載的配置文件,查看這個文件的配置,發現如下參數與集群的不一致
修改成如下的值:
<property>
<name>hive.server2.thrift.http.port</name>
<value>10001</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>metastore.catalog.default</name>
<value>hive</value>
</property>