Linux安裝anaconda和集成PySpark - Configuration
Linux需要安裝jdk,spark
使用curl下載Anaconda（這是一個腳本）
curl -O https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
1）下載bzip：[root@head42 opt]# yum install bzip2.x86_64
2）運行腳本：[root@head42 opt]# sh Anaconda3-5.1.0-Linux-x86_64.sh （一直enter直到第一個yes,第二個no）
3）運行：ipython
4）輸入：from notebook.auth import passwd
passwd()
設置密碼
獲取sha1值，復制
5）
c.NotebookApp.allow_root = True c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False c.NotebookApp.password = 'sha1:粘貼上一步復制的值' c.NotebookApp.port = 7070 6）
cd~ vi ~/.bashr 添加以下內容 export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python3 export PYSPARK_DRIVER_PYTHON=$ANACONDA_HOME/bin/jupyter export PYSPARK_DRIVER_PYTHON_OPTS="notebook" ipython_opts="notebook -pylab inline" cd~ source ./.bashrc 7）配置環境變量
export ANACONDA_HOME=/opt/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin
export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python3
export PYSPARK_DRIVER_PYTHON=$ANACONDA_HOME/bin/jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
ipython_opts="notebook -pylab inline"
8）啟動pyspark
這樣就OK了