IDEA里如何多種方式打jar包,然后上傳到集群


 

 

關於IDEA里如何多種方式打jar包,然后上傳到集群的問題?

  前期准備,就是在,IDEA里,maven來創建項目。這里不多贅述。

 

  1)用maven項目來打包,我推薦這個。 (強烈推薦,簡單又快速)

Spark編程環境搭建(基於Intellij IDEA的Ultimate版本)

  而且,還可以改名。比如我這篇博客里最后打好需要包括MyJavaWordCount.java和MyScalaWordCout.scala,默認名為test-spark-1.0-SNAPSHOT.jar,你自己可以更改,這個不是重點。

 

 

      2)如下,以下這種方式,看看就好,顯得有點冗長。

 

 

 

 

 

 

 

 

 

 

 

 

  一般,我們,習慣將默認的D:\Code\IntelliJIDEACode\spark-helloworld\src\main\scala

 改為 D:\Code\IntelliJIDEACode\spark-helloworld\src

 

 

  如下,不是maven創建出來的項目,到了這一步,需要如下。(我這里是manven,所以不需)

 

 

 

 

 

 

 name:spark-helloworld:jar

 Output directory: D:\Code\IntelliJIDEACode\spark-helloworld\out\artifacts\spark-helloworld_jar

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

   比如,我這里

[spark@sparksinglenode testspark]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/spark/testspark/words.txt hdfs://sparksinglenode:9000/

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM