開發環境中Flink連接遠端Hive遇到的那些坑


  由於Flink1.11的更新對Hive增強了支持,所以想在原Hadoop集群安裝Hive。Hive源數據庫使用的mysql。

 

遇到的問題如下:

  1、由於是用IDEA開發環境連接Hive,所以要在本地windows安裝hadoop(不用啟動的hadoop,主要是為了配路徑,比較簡單)

  2、maven依賴包是個麻煩事,需要注意官網提供的scope有很多都不能加,會報錯,同時也需要安裝一些其他的依賴,我使用的主要有以下這些:

    ——flink-table-api-java-bridge_2.11

    ——flink-connector-hive_2.11

    ——flink-table-planner-blink_2.11

    ——flink-streaming-java_2.11

    ——hive-exec

    ——libthrift

    ——hive-metastore

    ——hadoop-maoreduce-client-core

  3、hive用schematool初始化后別忘了用以下命令開啟元數據服務

    hive --service metastore

 

以上為遇到的主要問題


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM