Anaconda中配置Pyspark的Spark開發環境

1.windows下載並安裝Anaconda集成環境

  URL:https://www.continuum.io/downloads

2.在控制台中測試ipython是否啟動正常

  

3.安裝JDK

   3.1環境變量配置：

   

  

  

  3.2測試：

4.安裝Spark並配置環境變量

  4.1 URL: http://spark.apache.org/downloads.html

    

 

  4.2解壓到本地磁盤的對應目錄

       

 4.3配置環境變量

      

      

5.Pyspark配置

     5.1配置如下系統變量

    

    

   5.2修改spark\conf下的spark-env文件

    在文件末尾加入如下三行

    export PYSPARK_PYTHON=/E:/ProgramCJ/Anaconda2
    export PYSPARK_DRIVER_PYTHON=/E:/ProgramCJ/Anaconda2
    export PYSPARK_SUBMIT_ARGS='--master local[*]'

6.測試Pyspark是否安裝成功

    6.1命令行中輸入pyspark測試

    

    6.2 顯示如下，並新建python root

      

      6.3測試sc的spark變量是否可用

         

 注意：1.下載Spark請選擇已經編譯好的版本，如果選擇源碼版本，請使用maven或sbt進行編譯即可，方法為進入Spark安裝目錄，使用> sbt package   進行編譯

         2.拷貝 E:\spark\python\pyspark  到 D:\anaconda\Lib\site-packages 目錄下