SparkSQL與Hive的整合


  其他的配置hive基本配置就不記錄了!!

1. 拷貝$HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf/
2. 在$SPARK_HOME/conf/目錄中,修改spark-env.sh,添加
    export HIVE_HOME=/usr/local/apache-hive-0.13.1-bin

  注:切記SPARK_CLASSPATH這一行必須的配置:(否則報錯)
    export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.15-bin.jar:$SPARK_CLASSPATH
 注意:

   啟動spark-sql    輸入set查看執行引擎還是MR 使用如下的命令切換執行引擎

1 使用mr執行引擎
2 set hive.execution.engine=mr;  
3 使用spark執行引擎
4 set hive.execution.engine=spark;

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM