1、spark-sql配置

1、介紹

　　spark SQL是構建在spark core模塊上的四大模塊之一，提供DataFrame等豐富的API，運行期間通過spark查詢優化器翻譯成物理執行計划，並行計算輸出結果，底層計算原理用RDD計算實現。

2、standalone模式下的spark和hive集成

　　1、在 /soft/spark/conf 下創建 /soft/hive/conf/hive-site.xml 的軟鏈接

ln -s /soft/hive/conf/hive-site.xml /soft/spark/conf/hive-site.xml

　　2、復制 /soft/hive/lib 下的mysql連接jar包到，spark的jars下

cp mysql-connector-java-5.1.44.jar /soft/spark/jars/

　　3、關閉 hive 的hive-site.xml 中的版本檢查，否則會報版本不一致異常

<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

　　4、啟動spark shell

//s101上開啟
spark-shell --master spark://s101:7077

　　

3、在 idea 中配置 spark sql 環境

　　1、新建scala模塊，添加maven支持

　　2、添加依賴

<dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.44</version>
        </dependency>
    </dependencies>

　　3、復制core-site.xml、hdfs-site.xml、hive-site.xml文件到模塊的resources目錄下