現在時間2017-04-17。
python版本3.5支持pyspark
python3.6目前還不支持
做法簡單,只需要在bin/pyspark中增加
export PYSPARK_PYTHON=python3
再次打開bin/pyspark即配置完成pyspark采用python3.
如果想使用ipython,則增加下面兩行到bin/pyspark中
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=ipython
參考鏈接https://www.zhihu.com/question/56108986
