如何在windows下安裝配置pyspark notebook


第一步:安裝anaconda

anaconda自帶一系列科學計算包

下載鏈接:http://pan.baidu.com/s/1b4jWlg 密碼:fqq3

接着配置環境變量:如我安裝在D盤下  

 

試一下命令行啟動,確保ipython從anaconda啟動

 

第二步:安裝spark(需要提前安裝JDK)

到官網下載spark安裝包

http://spark.apache.org/downloads.html

我下的是這個版本:

解壓縮之后,不要忘記添加環境變量

配置如下系統變量

 接着需要在命令行鍵入(spark安裝目錄下:如D:\spark) > sbt package   進行編譯

 

這一步很重要  拷貝 E:\spark\python\pyspark  到 D:\anaconda\Lib\site-packages 目錄下

 

第三步:修改spark\conf下的spark-env文件(不知道是否必要)

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'

 

第四步:啟動pyspark

發現已啟動成功,一般網頁會自動打開http://localhost:8888/tree#

 

第五步:測試sc

成功!

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM