Hive與ES整合

https://www.elastic.co/guide/en/elasticsearch/hadoop/current/hive.html

 

注：添加的第三方jar必須位於namenode下，否則依然找不到該jar包。或者直接添加到hdfs！！

 

安裝

1.CLI方式：

  （1）將elasticsearch-hadoop jar放於Hive classpath中。在HIVE CLI下，使用ADD命令添加文件，jars或歸檔到classpath：

ADD JAR /path/elasticsearch-hadoop.jar;

 該命令需要可以在本地文件系統或遠程找到的正確的URI。通常最好使用分布式文件系統（如HDFS或Amazon S3），並使用它，因為腳本可能在各種機器上執行。

 當使用JDBC / ODBC驅動程序時，ADD JAR命令不可用，並且將被忽略。因此，建議將該jar提供給Hive全局classpath中。

 

 （2）作為替代，可以使用命令行：

bin/hive --auxpath=/path/elasticsearch-hadoop.jar

 （3）或者使用通過命令行指定的hive.aux.jars.path屬性：

$ bin/hive -hiveconf hive.aux.jars.path=/path/elasticsearch-hadoop.jar

 

2.HiveServer2方式

 

 　　修改hive-site.xml配置，可以通過hive.aux.jars.path選項注冊更多的jar（也接受一個URI）： 

<property>
  <name>hive.aux.jars.path</name>
  <value>/path/elasticsearch-hadoop.jar</value>
  <description>A comma separated list (with no spaces) of the jar files</description>
</property>

 

 注意：CDH版本，需要將jar包放到如下配置指定的路徑，如配置為空可放置在任意路徑

 該輔助路徑下的文件，hive用戶必須有讀取權限