idea 的搭建 maven spark開發環境


spark依賴配置網址http://mvnrepository.com/
1.create new project
2.meven,直接next
3.輸入group id等
4.輸入project name
5.可以刪掉main下的java和resources
6.右鍵點擊項目,選Add Framework Support,勾選Scala前面的復選框,然后點擊確定即可
7.在main文件夾中建立一個名為 scala 的文件夾,並右鍵點擊 scala 文件夾,選擇
Make Directory as,然后選擇Sources Root ,這里主要意思是將 scala 文件
夾標記為一個源文件的根目錄,然后在其內的所有代碼中的 package ,其路徑就
從這個根目錄下開始算起。

8.在已經標記好為源文件根目錄的 scala 文件夾 上,右鍵選擇 New,然后選擇
Scala Class,隨后設置好程序的名稱,並且記得將其設置為一個
Object(類似於Java中含有靜態成員的靜態類),正常的話,
將會打開這個 Object 代碼界面,並且可以看到IntelliJ IDEA自動添加了一些最
基本的信息;

9.在文件添加代碼
def main(args: Array[String]):Unit = {
println("Hello World!")
}
run了之后可看到hello world

10.pom中導入對應依賴包
<properties>
<spark.version>${spark.version}</spark.version>
<scala.version>2.11</scala.version>
</properties>


<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-mllib_${scala.version}</artifactId>
<version>${spark.version}</version>
</dependency>

</dependencies>

<build>
<plugins>

<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>

<plugin>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.6.0</version>
<configuration>
<source>1.8</source>
<target>1.8</target>
</configuration>
</plugin>

<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.19</version>
<configuration>
<skip>true</skip>
</configuration>
</plugin>

</plugins>
</build>


11.https://blog.csdn.net/u012373815/article/details/53266301
https://blog.csdn.net/u012877472/article/details/51000690

12.二維數組輸出
for((k,v)<-r)println(k+"="+v) //r為二維數組

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM