Python+Scrapy


准備做一個爬蟲,看了一下Python比較合適,花了一天時間學了一下語法,又找了一下有專門的爬蟲框架Scrapy。以下是學習過程。

1. 安裝Scrapy

  中文說明:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/install.html

    Required:

        (1) Python2.7。

        (2) lxml.

       這個中直接有各種版本的lxml,包括windows中的exe格式的。https://pypi.python.org/simple/lxml/

       安裝完后在Python IDLE 中通過"import lxml"試試,如果沒有報錯,那就是安裝好了!

   (3) OpenSSL

       參看平台安裝指南。其中需要將C:\python27\Scripts  C:\python27 添加到系統路徑中。而我的Python文件夾中沒有Script文件夾,看了一下發現是easy_install相關的內容。直接安裝setuptools即可自動生成Script文件夾。

      Tips:注意路徑跟自己安裝的路徑相同,不一定跟此處列出來的一致。

    其他python的包按照平台安裝指南就可以了。  

  直接通過在cmd中輸入“easy_install Scrapy” 就自動安裝Scrapy了。

在運行的過程中發現,還需要安裝service_identity。具體參見:http://blog.csdn.net/niying/article/details/27103081


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM