spark 訪問 hive,不能獲取到數據信息


前言

HDP version: 3.x
HIVE version: 3.x

問題描述

使用hdp版本的集群服務,當安裝好spark以后,執行spark.sql ,不能查詢到hive的數據庫,只查詢到default數據庫,說明spark沒有連接到hive。

問題現象


分析:
1、通過上圖可以看到spark加載的hive-site.xml文件。
2、可以看到hive的版本是3.0
3、可以看到spark連接到metastore元數據服務了
4、執行show databases時候,只顯示了default默認數據庫

解決

上述提到了一個加載的配置文件,查看這個文件的配置,發現如下參數與集群的不一致

修改成如下的值:

 <property>
      <name>hive.server2.thrift.http.port</name>
      <value>10001</value>
    </property>

    <property>
      <name>hive.server2.thrift.port</name>
      <value>10000</value>
    </property>
    
    <property>
      <name>metastore.catalog.default</name>
      <value>hive</value>
    </property>

借鑒:
| https://juejin.im/post/6844903953558159368


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM