Windows安裝Scrapy(一)


Scrapy是python開發的一個爬蟲框架;Scrapy很多模塊都是基於Linux下的,所以在windows上面安裝的時候,可能會有各種各樣的問題

下面整理遇到的問題:

1.直接安裝pip install scrapy

2、安裝的時候scrapy它要依賴很多其他的模塊,一般都是其他的模塊安裝的時候會報錯,因為pip安裝的版本和實際的操作系統需要的版本對應不上,比如說twisted

3、在pip安裝scrapy的時候,他會自動安裝其他依賴的模塊,安裝到哪個模塊報錯了,它會停止安裝,看下面的圖,就在安裝twisted的時候報錯了

 

 

4、打開https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到安裝報錯的模塊,手動下載對應操作系統的安裝包,手動安裝。

https://www.lfd.uci.edu/~gohlke/pythonlibs/這個網站是美國一個醫科大學的網站,他這個里面有很多python第三方模塊的安裝包,打開這個網站之后,咱們要裝twisted,就直接搜twisted就可以了,可以看到有好幾個安裝包,根據自己的python版本和操作系統版本下載就好了,看下面的圖。

 

 

6、下載之后它是一個whl的文件,也是直接用pip安裝就行了

pip install C:\Users\bjniuhanyang\Downloads\Twisted-17.9.0-cp35-cp35m-win_amd64.whl

  

7、重復第一步

基本上安裝scrapy出現的錯誤,都是因為單個依賴包有問題導致的,用此方法可以解決大部分問題


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM