开发环境中Flink连接远端Hive遇到的那些坑


  由于Flink1.11的更新对Hive增强了支持,所以想在原Hadoop集群安装Hive。Hive源数据库使用的mysql。

 

遇到的问题如下:

  1、由于是用IDEA开发环境连接Hive,所以要在本地windows安装hadoop(不用启动的hadoop,主要是为了配路径,比较简单)

  2、maven依赖包是个麻烦事,需要注意官网提供的scope有很多都不能加,会报错,同时也需要安装一些其他的依赖,我使用的主要有以下这些:

    ——flink-table-api-java-bridge_2.11

    ——flink-connector-hive_2.11

    ——flink-table-planner-blink_2.11

    ——flink-streaming-java_2.11

    ——hive-exec

    ——libthrift

    ——hive-metastore

    ——hadoop-maoreduce-client-core

  3、hive用schematool初始化后别忘了用以下命令开启元数据服务

    hive --service metastore

 

以上为遇到的主要问题


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM