Linux安装anaconda和集成PySpark - Configuration
Linux需要安装jdk,spark
使用curl下载Anaconda（这是一个脚本）
curl -O https://repo.continuum.io/archive/Anaconda3-5.1.0-Linux-x86_64.sh
1）下载bzip：[root@head42 opt]# yum install bzip2.x86_64
2）运行脚本：[root@head42 opt]# sh Anaconda3-5.1.0-Linux-x86_64.sh （一直enter直到第一个yes,第二个no）
3）运行：ipython
4）输入：from notebook.auth import passwd
passwd()
设置密码
获取sha1值，复制
5）
c.NotebookApp.allow_root = True c.NotebookApp.ip = '*' c.NotebookApp.open_browser = False c.NotebookApp.password = 'sha1:粘贴上一步复制的值' c.NotebookApp.port = 7070 6）
cd~ vi ~/.bashr 添加以下内容 export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python3 export PYSPARK_DRIVER_PYTHON=$ANACONDA_HOME/bin/jupyter export PYSPARK_DRIVER_PYTHON_OPTS="notebook" ipython_opts="notebook -pylab inline" cd~ source ./.bashrc 7）配置环境变量
export ANACONDA_HOME=/opt/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin
export PYSPARK_PYTHON=$ANACONDA_HOME/bin/python3
export PYSPARK_DRIVER_PYTHON=$ANACONDA_HOME/bin/jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
ipython_opts="notebook -pylab inline"
8）启动pyspark
这样就OK了