打包Scala jar 包的正確步驟


實驗目的:打包可運行的scala jar,上傳到spark集群,提交執行

1.idea中編譯運行代碼,可成功運行

2.修改2處代碼
//只配置appName,其他配置項注釋掉
val conf=new SparkConf()
.setAppName("pageRank")
//文件加載路徑設為空,在提交執行時設置該參數
val inputPath=args(0)
val links=sc.textFile(inputPath)

3.如果已經打包過,需要刪除main/java目錄下的manifest.mf文件

Manifest-Version: 1.0
Main-Class: org.apache.spark.examples.wordcount

4.file->project structure->artifacts-> + jar->from modules with dependencies

5.刪除多余的jar包(很重要)
只留下一個 :*** compile output
標明main class

6.build -> build artifacts->build/rebuild

打包成功后目錄

7.注意 jar包提交到集群之前,需要手動刪除 META-INF 文件夾中的 .mf文件!

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM