一. JAVA8安裝:
1. 安裝步驟(略)
2. 驗證:
java -version
二. Python3.6安裝:
1. 安裝步驟(略)
2. 驗證:
python --version
pip3 --version
三. scala安裝:
1. 安裝步驟:
下載地址:https://www.scala-lang.org/download/
下載scala-2.13.1.msi版本,點擊安裝
注意:scala的安裝目錄不能有空格,所以不能安裝到默認的 program profile 目錄下。
2. 驗證:
scala -version
四. spark安裝:
1. 安裝步驟:
下載地址:https://spark.apache.org/downloads.html
2. 配置環境變量:
配置SPARK_HOME
添加path:%SPARK_HOME%\bin;%SPARK_HOME%\sbin;
3. 驗證:
pyspark
(會報winutils錯誤)
五. hadoop配置(不配置會報winutils錯誤)
1. 配置步驟:
建一個{path}\hadoop\bin目錄
下載地址:https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip
將文件內容拷貝到{path}\hadoop\bin中。
2. 配置環境變量:
配置HADOOP_HOME
添加path:%HADOOP_HOME%\bin
3. 驗證:
pyspark
(不會報錯)
六. 安裝jupyter:
安裝步驟:
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter
啟動:
jupyter notebook --ip 0.0.0.0
以下為遠程訪問方式:
獲取帶token的鏈接:
jupyter notebook list
復制鏈接,將0.0.0.0替換為實際ip,到瀏覽器登陸。
七. 其他包:
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple findspark
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas
pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib
