實驗目的:打包可運行的scala jar,上傳到spark集群,提交執行
1.idea中編譯運行代碼,可成功運行
2.修改2處代碼
//只配置appName,其他配置項注釋掉
val conf=new SparkConf()
.setAppName("pageRank")
//文件加載路徑設為空,在提交執行時設置該參數
val inputPath=args(0)
val links=sc.textFile(inputPath)
3.如果已經打包過,需要刪除main/java目錄下的manifest.mf文件
Manifest-Version: 1.0 Main-Class: org.apache.spark.examples.wordcount
4.file->project structure->artifacts-> + jar->from modules with dependencies
5.刪除多余的jar包(很重要)
只留下一個 :*** compile output
標明main class
6.build -> build artifacts->build/rebuild
打包成功后目錄
7.注意 jar包提交到集群之前,需要手動刪除 META-INF 文件夾中的 .mf文件!