windows,python3.x下安裝pyspider


由於是初學者,業余學習,習慣使用windows,初次了解到pyspider寫代碼和調試代碼非常簡便;作者binux是在Ubuntu下部署測試的。在作者的博客看到windows下安裝的討論。windows直接安裝失敗主要是lxml、pycurl安裝失敗,需要用第三方的庫安裝

pycurllxml等第三方包可以在這里下載

http://www.lfd.uci.edu/~gohlke/pythonlibs

  1. 安裝lxml-xx.whl、pycurl-xx.whl,先下載lxml-xx.whl,然后切換到下載目錄,用pip安裝,命令pip install xx.whlxx.whl改為 實際文件名
  2. pip install pyspider。如果遇到提示缺少依賴包,請到這里找 http://www.lfd.uci.edu/~gohlke/pythonlibs/,然后pip install xx.whl (xx.whl改為實際文件名),然后重試。
  3. 完成后,請耐心看作者博客和文檔學習。

文檔 http://doc.scrapy.org/en/latest/

作者博客 http://binux.me/

pyspider 爬蟲教程(一):HTML 和 CSS 選擇器

pyspider 爬蟲教程(二):AJAX 和 HTTP

pyspider 爬蟲教程(三):使用 PhantomJS 渲染帶 JS 的頁面


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM