scrapy系列(一)——Python 爬蟲框架 Scrapy1.2 Windows 安裝教程


scrapy作為一個成熟的爬蟲框架,網上有大量的相關教程供大家選擇,尤其是關於其的安裝步驟更是豐富的很。在這里我想記錄下自己的相關經驗,希望能給大家帶來點幫助。

在scrapy0.24版之前,安裝scrapy前需要自己手動安裝它的相關依賴,尤其是在windows上,更是有很多坑,甚至會和注冊表信息有關系。隨着新版本的推出,它的安裝也越來越人性化,大部分依賴會自己解決。那么本文就基於最新的scrapy1.2在windows上的安裝來舉例講解。

首先來看看官方文檔給出的相關步驟:

在scrapy1.1及以后,其已經支持python3的環境了,不過需要python3.3及以上版本。但是在windows環境中仍然只支持python2.7,至於原因上圖中的Note已經給出說明:Twisted 在windows中不支持python3。

所以第一步需要安裝python2.7,至於其安裝和環境變量的添加這里就不再細說了,網上已經爛大街了。不過還是建議大家安裝python2.7.9及以上的Python2版本,因為里面自帶pip,這樣就省了大家執行關於pip的安裝操作了。

根據文檔下載並運行pywin32,然后就可以輸入命令安裝scrapy了, pip install scrapy。

就是這樣,仍然發生了不可預知的錯誤。首先pip install的時候需要換源,不然下載東西會超時或者不能找到合適的模塊。至於換源這里簡單的說一下,如果想要臨時的使用新源的話,可以輸入命令:

pip install scrapy -i https://pypi.douban.com/simple

如果想要永久的使用新源的話需要在配置文件pip.ini中寫入, 該文件需要在本機Users文件夾下中的pip文件夾下新建,eg我的文件路徑“C:\Users\Administrator\pip\pip.ini”:

[global]
index-url = http://pypi.douban.com/simple
trusted-host = pypi.douban.com

之后安裝的scrapy可能會因為種種原因導致某些模塊沒有安裝成功,最后安裝失敗。那么就需要根據log信息挨個去補充安裝,實在是十分麻煩。

那有沒有傻瓜式的一步安裝呢?只需要輸入一條指令就可以安裝scrapy呢?

答案是肯定的。官方文檔介紹了另一種方法:

那么Anaconda是個什么東西呢?

Anaconda是一個用於科學計算的Python發行版,支持 Linux, Mac, Windows系統,提供了包管理與環境管理的功能,可以很方便地解決多版本python並存、切換以及各種第三方包安裝問題。Anaconda利用工具/命令conda來進行package和environment的管理,並且已經包含了Python和相關的配套工具。之前在windows環境中安裝pandas,PIL等真心的不容易,用了它以后一切都那么的輕松。

我們可以到其官網去下載這個軟件,選擇適合你環境的版本。然后就像普通的軟件一樣雙擊運行安裝,你可以在彈出的高級選項中全部打鈎,這樣就不用自己去添加環境變量了。

安裝成功以后,打開cmd,輸入conda install scrapy 就可以安裝了。

但是當我的環境為windows64位,python2.7也是64位時,按照上述命令安裝scrapy以后,運行scrapy時報錯:

出現上述錯誤的解決方法是:將C:\OpenSSL-Win32\bin中的libeay32.dll和ssleay32.dll放到C:\windows\system32下。這樣scrapy就可以正常運行了。如果沒有OpenSSL-Win32,那就去網上下一個,或者在C:\windows\system32文件夾下刪除libeay32.dll和ssleay32.dll,最好還是替換,刪除可能會引起其他的問題。

 
        

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM