scrapy-splash的安裝和使用


這次記錄的scrapy-splash的安裝和使用基本上是兩種情況:一是win10比較新的版本+docker for windows;二是win10家庭版,win7(理論上win8也是)+docker toolbox

首先是win10比較新的版本+docker for windows:

前面基本是一鍵安裝,因為docker for windows沒有給你選擇的地方

接着開啟docker service,確認docker is running,就可以開始直接使用命令行操作

 

 鏡像拉取成功,接下來安裝scrapy-splash:

第一次開啟scrapy-splash服務的時候會比較卡,耐心等待:

 

根據該網址下載:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

 

記centos運行scrapy-splash的一個坑問題:centos系統安裝好了docker,拉取了鏡像scrapinghub/splash,運行起來,卻一直得不到數據,並報如下錯誤:

 Retrying <GET https://list.jd.com/list.html?cat=1319%2C1523%2C7054&go=0# via http://139.159.149.185:8050/render.html> (failed 2 times): TCP connection timed out: 110: Connection timed out.

最終解決方法是:在settings.py文件中將

 

改成

上面的url是在我的windows7上可以使用的,下面的url測試在centos系統上可以使用的,詳細原因還不知道,但是確實解決了問題。=-=

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM