1.1 Python3的安裝
既然要用 Python3 開發爬蟲，那么第一步一定是安裝 Python3，本節會介紹 Windows、Linux、Mac 三大平台下安裝 Python3 的過程。
1. 相關鏈接
- 官方網站：http://python.org
- 下載地址：https://www.python.org/downloads
- 第三方庫：https://pypi.python.org/pypi
- 官方文檔：https://docs.python.org/3
- 中文教程：http://www.runoob.com/python3/python3-tutorial.html
- Awesome Python：https://github.com/vinta/awesome-python
- Awesome Python 中文版：https://github.com/jobbole/awesome-python-cn
2. Windows下的安裝
Windows 下安裝 Python3 的方式有兩種，一種是通過 Anaconda 安裝，Anaconda 提供了 Python 的科學計算環境，里面自帶了 Python 以及常用的庫，如果選用了此種方式后面的環境配置方式會更加簡便，另一種是直接下載安裝包安裝，即標准的安裝方式。下面會依次介紹這兩種安裝方式，任選其一即可。
Anaconda安裝
Anaconda的 官方下載鏈接為：https://www.continuum.io/downloads，選擇 Python3 版本的安裝包下載即可，如圖 1-1 所示：
圖 1-1 Anaconda Windows 下載頁面
如果下載速度過慢可以選擇使用清華大學鏡像，
下載列表鏈接為：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/，
使用說明鏈接為：https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/，
可以選擇需要的版本進行下載，速度相比官網會快很多。
下載完成之后直接雙擊運行安裝包安裝即可，安裝完成之后Python3的環境就配置好了。
安裝包安裝
推薦直接下載可執行文件安裝包安裝，到官方網站下載Python3安裝包。
https://www.python.org/downloads/
到目前為止，Python 的最新版本是 3.6.2，最新版本以官網為准，如 Python3.6.2 的下載鏈接為：https://www.python.org/downloads/release/python-362/，
下載頁面如圖 1-2 所示：
圖 1-2 Python 下載頁面
64 位系統可以下載 Windows x86-64 executable installer，32 位系統可以下載 Windows x86 executable installer。
下載完成之后，直接雙擊運行 Python 安裝包，使用圖形界面安裝，設置好 Python 的安裝路徑，完成后將 Python3和 Python3 的 Scripts 目錄配置到環境變量即可。
環境變量的配置，此處以 Win10 系統為例進行演示。
假如我安裝后的 Python3 路徑為 C:\Python36，從資源管理器中打開該路徑，如圖 1-3 所示：
圖 1-3 Python 安裝目錄
將該路徑復制下來。
隨后打開電腦-屬性，如圖 1-4 所示：
圖 1-4 系統屬性
點擊左側的高級系統設置，即可看到在彈出的窗口中下方有環境變量按鈕，如圖 1-5 所示：
圖 1-5 高級系統設置
點擊環境變量，找到系統變量下的 Path 變量，隨后點擊編輯按鈕，如圖 1-6 所示：
圖 1-6 環境變量
隨后點擊新建，新建一個條目，將剛才拷貝的 C:\Python36 復制進去，當然此處的路徑就是你的 Python3 安裝目錄，請自行替換，然后再把 C:\Python36\Scripts 路徑復制進去，如圖 1-7 所示：
圖 1-7 編輯環境變量
最后點擊確定即可完成環境變量的配置。
配置好環境變量之后，我們就可以直接在命令行直接執行環境變量路徑下的可執行文件了，如 python、pip 等命令。
添加別名
以上兩種安裝方式任選其一即可完成安裝，但如果我們之前安裝過 Python2 的話，可能會導致版本沖突問題，比如在命令行下輸入 python 就不知道是調用的 Python2 還是 Python3 了，為了解決這個問題，建議將安裝目錄中的 python.exe 復制一份，命名為 python3.exe，這樣便可以調用 python3 命令了，實際上和 python 命令是完全一致的，這樣可以更好地區分 Python 版本，當然如果沒有安裝過 Python2 的話也建議添加此別名，添加完畢之后如圖 1-8 所示：
圖 1-8 添加別名
對於 Pip 來說，安裝包中自帶了 pip3.exe 可執行文件，我們也可以直接使用 pip3 命令，無需額外配置。
測試驗證
安裝完成之后我們可以通過命令行測試一下安裝是否成功，在開始菜單搜索 cmd，找到命令提示符，就進入了命令行模式，輸入 python 測試一下能否成功調用 python，如果添加了別名的話可以輸入 python3 測試，在這里輸入的是 python3，如圖 1-9 所示：
圖 1-9 測試驗證頁面
類似輸出結果如下：
$ python3 Python 3.6.1 (v3.6.1:69c0db5, Mar 21 2017, 17:54:52) [MSC v.1900 32 bit (Intel)] on win32 Type "help", "copyright", "credits" or "license" for more information. >>> print('Hello World') Hello World >>> exit() $ pip3 -V pip 9.0.1 from c:\python36\lib\site-packages (python 3.6)
如果出現類似上面的提示，則證明 Python3 和 Pip3 均安裝成功，如果提示命令不存在，那么請檢查下環境變量的配置情況。
3. Linux下的安裝
Linux 下安裝方式有多種，命令安裝、源碼安裝、Anaconda 安裝。
使用源碼安裝需要自行編譯，時間較長。推薦使用系統自帶命令或 Anaconda 安裝，簡單高效。在這里對各種安裝方式分別予以講解。
命令行安裝
不同的 Linux 發行版本安裝方式又有不同，在此分別予以介紹。
CentOS、RedHat
如果是 CentOS 或 RedHat 版本，使用 yum 命令安裝即可。
下面列出了 Python3.5 和 3.4 兩個版本的安裝方法，可以自行選擇。
Python3.5 版本：
sudo yum install -y https://centos7.iuscommunity.org/ius-release.rpm
sudo yum update
sudo yum install -y python35u python35u-libs python35u-devel python35u-pip
執行完畢之后便可以成功安裝 Python3.5 及 Pip3。
Python3.4 版本：
sudo yum groupinstall -y development tools
sudo yum install -y epel-release python34-devel libxslt-devel libxml2-devel openssl-devel
sudo yum install -y python34
sudo yum install -y python34-setuptools
sudo easy_install-3.4 pip
執行完畢之后便可以成功安裝 Python3.4 及 Pip3。
Ubuntu、Debian、Deepin
首先安裝 Python3，使用 apt-get 安裝即可，在安裝前還需安裝一些基礎庫，命令如下：
sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev libcurl4-openssl-dev
sudo apt-get install -y python3
執行完如上命令之后就可以成功安裝好 Python3 了。
然后還需要安裝 Pip3，仍然使用 apt-get 安裝即可，命令如下：
sudo apt-get install -y python3-pip
執行完畢之后便可以成功安裝 Python3 及 Pip3。
源碼安裝
如果命令行安裝方式有問題，還可以下載 Python3 源碼進行安裝。
源碼下載地址為：https://www.python.org/ftp/python/，可以自行選用想要的版本進行安裝，在此以 Python3.6.2 為例進行說明，安裝路徑設置為 /usr/local/python3。
首先創建安裝目錄，命令如下：
sudo mkdir /usr/local/python3
隨后下載安裝包並解壓進入，命令如下：
wget --no-check-certificate https://www.python.org/ftp/python/3.6.2/Python-3.6.2.tgz
tar -xzvf Python-3.6.2.tgz
cd Python-3.6.2
接下來編譯安裝，所需時間可能較長，請耐心等待，命令如下：
sudo ./configure --prefix=/usr/local/python3
sudo make
sudo make install
安裝完成之后創建 Python3 鏈接，命令如下：
sudo ln -s /usr/local/python3/bin/python3 /usr/bin/python3
隨后下載 Pip 安裝包並安裝，命令如下：
wget --no-check-certificate https://github.com/pypa/pip/archive/9.0.1.tar.gz
tar -xzvf 9.0.1.tar.gz
cd pip-9.0.1
python3 setup.py install
安裝完成后再創建 Pip3 鏈接，命令如下：
sudo ln -s /usr/local/python3/bin/pip /usr/bin/pip3
這樣就成功安裝好了 Python3 及 Pip3。
Anaconda安裝
Anaconda 同樣支持 Linux，Anaconda 的官方下載鏈接為：https://www.continuum.io/downloads，選擇 Python3 版本的安裝包下載即可，如圖 1-10 所示：
圖 1-10 Anaconda Linux 下載頁面
如果下載速度過慢同樣可以使用清華鏡像，參考 Windows 部分的介紹，在此不再贅述。
測試驗證
命令行測試 Python3 和 Pip3 是否安裝成功。
$ python3 Python 3.5.2 (default, Nov 17 2016, 17:05:23) Type "help", "copyright", "credits" or "license" for more information. >>> exit() $ pip3 -V pip 8.1.1 from /usr/lib/python3/dist-packages (python 3.5)
如出現類似上面的提示，則證明 Python3 和 Pip3 安裝成功。
4. Mac下的安裝
在 Mac 下同樣有多種安裝方式，如 Homebrew、安裝包安裝、Anaconda 安裝等，推薦使用 Homebrew 安裝。
Homebrew安裝
Homebrew 是 Mac 平台下強大的包管理工具，首先安裝 Homebrew，官方網站是：https://brew.sh/。
執行如下命令即可安裝 Homebrew：
ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
安裝完成后便可以使用 brew 命令安裝 Python3 和 Pip3 了。
brew install python3
命令執行完成之后發現 Python3 和 Pip3 均已經安裝成功。
安裝包安裝
可以到官方網站下載 Python3 安裝包。鏈接為：https://www.python.org/downloads/，頁面如圖 1-11 所示：
圖 1-11 Python 下載頁面
Mac 平台下可以選擇下載 Mac OS X 64-bit/32-bit installer，下載完成之后打開安裝包按照提示安裝即可。
Anaconda安裝
Anaconda 同樣支持 Mac，Anaconda 的官方下載鏈接為：https://www.continuum.io/downloads，選擇 Python3 版本的安裝包下載即可，如圖 1-12 所示：
圖 1-12 Anaconda Mac 下載頁面
如果下載速度過慢同樣可以使用清華鏡像，參考 Windows 部分的介紹，在此不再贅述。
測試驗證
打開終端，在命令行測試 Python3 和 Pip3 是否成功安裝，如圖 1-13 所示：
圖 1-13 測試驗證頁面
如出現上面的提示，則證明 Python3 和 Pip3 安裝成功。