如何用Jupyter Notebook打開Spark


  電腦已經裝了anaconda python,然后下載了spark2.1.0。因為版本太新,所以網上和書上的一些內容已經不再適用。比如關於如何使用IPython和Jupyter,教程給出的方法是用如下語句打開Spark即可進入IPython或者IPython Notebook:

IPYTHON=1 ./bin/pyspark
IPYTHON_OPTS="notebook" ./bin/pyspark

  然鵝運行以上語句后我得到的是:

Error in pyspark startup:
IPYTHON and IPYTHON_OPTS are removed in Spark 2.0+. Remove these from the environment and set PYSPARK_DRIVER_PYTHON and PYSPARK_DRIVER_PYTHON_OPTS instead.

  所以使用Jupyter打開Spark的設置方法是:

1 export PYSPARK_DRIVER_PYTHON=jupyter
2 export PYSPARK_DRIVER_PYTHON_OPTS='notebook' pyspark

  這樣再打開Spark時就會自動使用Jupyter Notebook來打開Spark了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM