【spark】IDEA建立基於scala語言的spark項目

1.新建一個Spark項目

 

2.選擇maven，用模板創建項目

 

如果 沒有這個模板，我們需要添加一個

我們這里使用的是1.6版本
Archetype Group Id : net.alchim31.maven Archetype Artifact Id : scala-archetype-simple Archetype Version : 1.6

3.填寫GoupId等。

4.選擇本地的maven配置文件和倉庫

 

5.創建完畢

這里我們要注意項目pom.xml文件中的配置

核對scala版本

並在pom.xml文件中添加如下信息

<properties>
  <scala.version>2.12.3</scala.version>
  <spark.version>2.2.0</spark.version>
  <hadoop.version>2.6.0</hadoop.version>
  <hbase.version>1.2.0</hbase.version>
</properties>

<dependencies>
  <!--scala-->
  <dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>${scala.version}</version>
  </dependency>
  <!-- spark -->
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.11</artifactId>
    <version>${spark.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.11</artifactId>
    <version>${spark.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>${spark.version}</version>
    <scope>provided</scope>
  </dependency>

  <!-- hadoop -->
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>${hadoop.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>${hadoop.version}</version>
  </dependency>

  <!--hbase-->
  <dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-client</artifactId>
    <version>${hbase.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-server</artifactId>
    <version>${hbase.version}</version>
  </dependency>
</dependencies>

6.更新pom.xml文件

7.編寫項目Hello World

8.運行，如果運行的時候報錯

(1)

這是由於Junit版本造成的，我們可以刪掉Test文件，以及刪掉pom.xml文件中測試的相關依賴。

刪除

 

和文件中的

<dependency>

  <groupId>junit</groupId>

  <artifactId>junit</artifactId>

  <version>4.12</version>

</dependency>

我們可以也可以修改相應的版本為要求版本 4.5

(2)

 

如果出現這種錯誤，是因為你的scala版本和maven中的scala版本不匹配

 

修改pom.xml文件中的對應scala版本為你本地的scala版本即可。