win10部署spark和jupyter


一. JAVA8安裝:

1. 安裝步驟(略)

2. 驗證:

java -version

 

二. Python3.6安裝:

1. 安裝步驟(略)

2. 驗證:

python --version

pip3 --version

 

三. scala安裝:

1. 安裝步驟:

下載地址:https://www.scala-lang.org/download/

下載scala-2.13.1.msi版本,點擊安裝

注意:scala的安裝目錄不能有空格,所以不能安裝到默認的 program profile 目錄下。

2. 驗證:

scala -version

 

四. spark安裝:

1. 安裝步驟:

下載地址:https://spark.apache.org/downloads.html

2. 配置環境變量:

配置SPARK_HOME

添加path:%SPARK_HOME%\bin;%SPARK_HOME%\sbin;

3. 驗證:

pyspark

(會報winutils錯誤)

 

五. hadoop配置(不配置會報winutils錯誤)

1.  配置步驟:

建一個{path}\hadoop\bin目錄

下載地址:https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip

將文件內容拷貝到{path}\hadoop\bin中。

2. 配置環境變量:

配置HADOOP_HOME

添加path:%HADOOP_HOME%\bin

3. 驗證:

pyspark

(不會報錯)

 

六. 安裝jupyter:

安裝步驟:

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter

啟動:

jupyter notebook --ip 0.0.0.0

以下為遠程訪問方式:

獲取帶token的鏈接:
jupyter notebook list

復制鏈接,將0.0.0.0替換為實際ip,到瀏覽器登陸。

 

七. 其他包:

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple findspark

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM