原創文章，轉載請注明： 轉載自www.cnblogs.com/tovin/p/3822985.html
一、軟件下載
maven下載安裝 ：http://10.100.209.243/share/soft/apache-maven-3.2.1-bin.zip
jdk下載安裝：
http://10.100.209.243/share/soft/jdk-7u60-windows-i586.exe（32位）
http://10.100.209.243/share/soft/jdk-7u60-windows-x64.exe（64位）
eclipse下載安裝：
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r elease/kepler/SR2/eclipse-jee-kepler-SR2-win32.zip（32位）
http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/r elease/kepler/SR2/eclipse-jee-kepler-SR2-win32-x86_64.zip（64位）
scala下載安裝：http://www.scala-lang.org/files/archive/scala-2.10.4.msi
二、環境變量配置
JAVA_HOME=C:\Program Files\Java\jdk1.7.0_17
M2_HOME=D:\soft\apache-maven-3.2.1
SCALA_HOME=D:\soft\scala-2.10
PATH=%PATH%;%JAVA_HOME%\bin;%M2_HOME%\bin;%SCALA_HOME%\bin
三、Eclipse配置
1、eclipse scala插件安裝
在Eclipse中，依次選擇“Help” –> “Eclipse Marketplace”，輸入scala安裝Scala IDE
2、eclipse配置jdk
進入Window->Preferences配置jdk
3、eclipse配置maven
四、Spark應用開發
1、創建maven工程
2、修改pom.xml添加依賴包
注意：如果有依賴除hadoop、spark之外的包，打包時需要把依賴包也加進去。為了將依賴包加入，需要在pom.xml中加入如下內容
3、轉成java工程（方便使用Spark Java API進行開發）
4、編寫代碼編譯、打包
工程點右鍵選擇分別執行Maven clean、Maven install，至此在工程項目下target目錄會有目標jar包生成
5、運行Spark應用
上傳編譯好的jar包至spark集群client，執行以下命令運行程序
/usr/local/spark/bin/spark-submit --class YourMainClass --master yarn-cluster YourJarPath
YourMainClass：main函數類名
YourJarPath：jar包絕對路徑
原創文章，轉載請注明： 轉載自www.cnblogs.com/tovin/p/3822985.html