以下操作均為使用非root用戶進行。
vim ~/.bashrc
在文件中添加：
export PYSPARK_PYTHON=/usr/local/bin/python3
指定pyspark啟動時使用的python版本，
#export PYSPARK_DRIVER_PYTHON=ipython3
指定啟動pyspark后的交互式界面，使用ipython3作為默認啟動交互界面
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook --no-browser --port 8889 --ip=172.16.80.142"
unset XDG_RUNTIME_DIR
指定啟動pyspark后的交互式界面，使用jupyter作為默認啟動的交互界面，指定ip 和port 可以讓同網段的設備訪問jupyter 進行pyspark 操作
source ~/.bashrc
加載配置生效
注意：
在修改交互式界面的時候。如果以前有設置了PYSPARK_DRIVER_PYTHON_OPTS
新修改的PYSPARK_DRIVER_PYTHON 如果沒有設置PYSPARK_DRIVER_PYTHON_OPTS 即使注釋掉，可能還是會使用上一次的設置。最好覆蓋一下。