Scrapy是python開發的一個爬蟲框架;Scrapy很多模塊都是基於Linux下的,所以在windows上面安裝的時候,可能會有各種各樣的問題
下面整理遇到的問題:
1.直接安裝pip install scrapy
2、安裝的時候scrapy它要依賴很多其他的模塊,一般都是其他的模塊安裝的時候會報錯,因為pip安裝的版本和實際的操作系統需要的版本對應不上,比如說twisted
3、在pip安裝scrapy的時候,他會自動安裝其他依賴的模塊,安裝到哪個模塊報錯了,它會停止安裝,看下面的圖,就在安裝twisted的時候報錯了
4、打開https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到安裝報錯的模塊,手動下載對應操作系統的安裝包,手動安裝。
https://www.lfd.uci.edu/~gohlke/pythonlibs/這個網站是美國一個醫科大學的網站,他這個里面有很多python第三方模塊的安裝包,打開這個網站之后,咱們要裝twisted,就直接搜twisted就可以了,可以看到有好幾個安裝包,根據自己的python版本和操作系統版本下載就好了,看下面的圖。
6、下載之后它是一個whl的文件,也是直接用pip安裝就行了
pip install C:\Users\bjniuhanyang\Downloads\Twisted-17.9.0-cp35-cp35m-win_amd64.whl
7、重復第一步
基本上安裝scrapy出現的錯誤,都是因為單個依賴包有問題導致的,用此方法可以解決大部分問題