本文介紹在單節點下如何設置pyspark所調用的python的版本。
環境：已在centos7中安裝了spark2.4.0和python3.6
1.修改spark安裝目錄下的conf/spark-env.sh文件，在末尾添加export PYSPARK_PYTHON=/opt/python36/python3.6
2.修改spark安裝目錄下的bin/pyspark文件，修改下圖紅色方框的位置，將原來PYSPARK_PYTHON=python改成PYSPARK_PYTHON=python3.6
3.啟動pyspark，可看到python的版本為3.6
多節點的設置可參考：https://blog.csdn.net/abc_321a/article/details/82589836