spark-2.0.0與hive-1.2.1整合

SparkSQL與Hive的整合

1. 拷貝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/

2. 在$SPARK_HOME/conf/目錄中，修改spark-env.sh，添加

export HIVE_HOME=/opt/hive-1.2.1

export SPARK_CLASSPATH=$HIVE_HOME/lib:$SPARK_CLASSPATH

3. 另外也可以設置一下Spark的log4j配置文件，使得屏幕中不打印額外的INFO信息:

log4j.rootCategory=WARN, console

(但還是有信息提示)

進入$SPARK_HOME/bin執行 spark-sql