Spark程序本地運行

本次安裝是在JDK安裝完成的基礎上進行的！  SPARK版本和hadoop版本必須對應！！！

spark是基於hadoop運算的，兩者有依賴關系，見下圖：

前言：

1.環境變量配置：

1.1 打開“控制面板”選項

1.2.找到“系統”選項卡

1.3.點擊“高級系統設置”

1.4.點擊“環境變量”

2.新建和編輯環境變量

 

1.下載hadoop-2.6.0.tar.gz文件，並解壓在本地

1.1 新建環境變量上配置

HADOOP_HOME
D:\JAVA\hadoop

1.2 修改PATH路徑

$HADOOP_HOME/bin; 

2.下載scala-2.10.6.zip文件，並解壓在本地

2.1 新建環境變量上配置

SCALA_HOME
D:\JAVA\scala

2.2 修改PATH路徑

 %SCALA_HOME%\bin;%SCALA_HOME%\jre\bin; 

3.下載spark-1.6.2-bin-hadoop2.6.tgz文件，並解壓在本地

3.1 新建環境變量上配置

 SPARK_HOME

 D:\JAVA\spark_home\bin 

3.2 修改PATH路徑

PATH

$SPARK_HOME/bin;

 

4.下載scala-IDE.zip文件，並解壓在本地

新建一個工程，修改library：

Scala library一定要是：2.10.X

新建一個自己的library：添加一個Jar文件（${spark_home}/lib）

下跟Word Count代碼

package com

import org.apache.spark.SparkConf
import org.apache.spark.api.java.JavaSparkContext
import org.apache.spark.SparkContext

/**
 * 統計字符出現次數
 */
object WordCount {
  def main(args: Array[String]): Unit = {
         
         System.setProperty("hadoop.home.dir", "D:\\JAVA\\hadoop");
         val sc = new SparkContext("local", "My App")  
         val line = sc.textFile("/srv/1.txt")
     
         line.map((_, 1)).reduceByKey(_+_).collect().foreach(println)
     
         sc.stop()
    println(111111)
  }
}

 

 hadoop下載點擊這里

 spark下載點擊這里

 scala安裝包，scala IDE下載點擊這里