前言:為了將爬蟲項目布置到服務器上,才有了今天這一下午的坑,必須記錄
不要動現有的python2環境!不要動現有的python2環境!不要動現有的python2環境!
解壓
tar -xvf Python-3.5.5.tgz
開始安裝
./configure --prefix=/usr/local/python35 --with-ssl
接下來
make
make install
設置軟鏈,打死不要命名python為python3的軟鏈!!!
ln -s /usr/local/python35/bin/python3.5 /usr/bin/python3
pip重中之中
1、安裝pip前需要前置安裝setuptools
wget --no-check-certificate https://pypi.python.org/packages/source/s/setuptools/setuptools-19.6.tar.gz#md5=c607dd118eae682c44ed146367a17e26
tar -zxvf setuptools-19.6.tar.gz
cd setuptools-19.6
python3 setup.py build
python3 setup.py install
報錯:RuntimeError: Compression requires the (missing) zlib module
我們需要在linux中安裝zlib-devel包,進行支持。
yum install zlib-devel
需要對python3.5進行重新編譯安裝。(make & make install)
cd python3.5
make & make install
又是漫長的編譯安裝過程。
重新安裝setuptools
python3 setup.py build
python3 setup.py install
2、安裝pip
wget --no-check-certificate https://pypi.python.org/packages/source/p/pip/pip-8.0.2.tar.gz#md5=3a73c4188f8dbad6a1e6f6d44d117eeb
tar -zxvf pip-8.0.2.tar.gz
cd pip-8.0.2
python3 setup.py build
python3 setup.py install
如果沒有意外的話,pip安裝完成。
測試:
我們使用pip安裝一個python3第三方庫:python3 -m pip install paramiko
ImportError: cannot import name 'HTTPSHandler'
缺少openssl的開發環境,我們繼續安裝
yum install openssl-devel
繼續重新編譯安裝python3.5(make & make install)
ok,我們終於完成了整個python3環境的安裝。
pip3:
ln -s /usr/local/python3.5/bin/pip3 /usr/bin/pip3
安裝scrapy
1.這里需要先安裝Twisted 並且版本越高越好,否則會不支持報如下錯誤
ModuleNotFoundError: No module named 'twisted.persisted'
pip3 install Twisted
我在這里找不到這個版本,就直接使用了如下這個:
wget https://twistedmatrix.com/Releases/Twisted/17.9/Twisted-17.9.0.tar.bz2
2.解壓下載下來的Twisted-17.9.0.tar.bz2
tar -xvf Twisted-17.9.0.tar.bz2
如果報錯:
tar (child): lbzip2: Cannot exec: No such file or directory
tar (child): Error is not recoverable: exiting now
tar: Child returned status 2
tar: Error is not recoverable: exiting now
安裝命令
yum -y install bzip2
3.安裝
進入解壓后的目錄,執行:
python setup.py install
4.pip3 install scrapy就可以成功了