安裝 python 爬蟲框架 Scrapy

官方安裝說明文檔：https://doc.scrapy.org/en/latest/intro/install.html#installing-scrapy 

一、scrapy 需要以下依賴

 

二、一般來說，你可以通過以下命令直接安裝 Scrapy（依賴會被自動安裝）

pip3 install scrapy

注：關於pip 和 pip3 的區別，請看 這里

 

三、一個常見的問題是：安裝 twisted 時，會報 “Microsoft visual c++ 14.0 is required” 錯誤

解決辦法有兩個：

1、老老實實安裝 Visual C++ Build Tools 2015 套件，套件比較大（大概4G），安裝時間比較久，傳送門：Visual C++ Build Tools 2015

 

2、用安裝 whl 文件的方式安裝 Twisted

打開：https://www.lfd.uci.edu/~gohlke/pythonlibs/，crtl + f 查找 twisted，選擇適合自己的版本下載

注：這個網站打開有點慢，翻牆的話，會好一點

 

四、進入 Twisted 的下載目錄，shift + 鼠標右鍵，選擇 “在此處打開 Powershell 窗口”，執行以下命令，安裝 Twisted

pip3 install Twisted-19.2.1-cp37-cp37m-win32.whl

 

五、正常安裝 Scrapy

pip3 install scrapy

 

六、如遇到其他錯誤，可以重復以上步驟，使用 whl 文件方式安裝 python 擴展

官方：https://pypi.org/

非官方：https://www.lfd.uci.edu/~gohlke/pythonlibs/

 

---

 

本文鏈接：https://www.cnblogs.com/tujia/p/11169180.html