關於IDEA里如何多種方式打jar包,然后上傳到集群的問題?
前期准備,就是在,IDEA里,maven來創建項目。這里不多贅述。
1)用maven項目來打包,我推薦這個。 (強烈推薦,簡單又快速)
Spark編程環境搭建(基於Intellij IDEA的Ultimate版本)
而且,還可以改名。比如我這篇博客里最后打好需要包括MyJavaWordCount.java和MyScalaWordCout.scala,默認名為test-spark-1.0-SNAPSHOT.jar,你自己可以更改,這個不是重點。
2)如下,以下這種方式,看看就好,顯得有點冗長。
一般,我們,習慣將默認的D:\Code\IntelliJIDEACode\spark-helloworld\src\main\scala
改為 D:\Code\IntelliJIDEACode\spark-helloworld\src
如下,不是maven創建出來的項目,到了這一步,需要如下。(我這里是manven,所以不需)
name:spark-helloworld:jar
Output directory: D:\Code\IntelliJIDEACode\spark-helloworld\out\artifacts\spark-helloworld_jar
比如,我這里
[spark@sparksinglenode testspark]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/spark/testspark/words.txt hdfs://sparksinglenode:9000/