准備做一個爬蟲,看了一下Python比較合適,花了一天時間學了一下語法,又找了一下有專門的爬蟲框架Scrapy。以下是學習過程。
1. 安裝Scrapy
中文說明:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/install.html
Required:
(1) Python2.7。
(2) lxml.
這個中直接有各種版本的lxml,包括windows中的exe格式的。https://pypi.python.org/simple/lxml/
安裝完后在Python IDLE 中通過"import lxml"試試,如果沒有報錯,那就是安裝好了!
(3) OpenSSL
參看平台安裝指南。其中需要將C:\python27\Scripts 和 C:\python27 添加到系統路徑中。而我的Python文件夾中沒有Script文件夾,看了一下發現是easy_install相關的內容。直接安裝setuptools即可自動生成Script文件夾。
Tips:注意路徑跟自己安裝的路徑相同,不一定跟此處列出來的一致。
其他python的包按照平台安裝指南就可以了。
直接通過在cmd中輸入“easy_install Scrapy” 就自動安裝Scrapy了。
在運行的過程中發現,還需要安裝service_identity。具體參見:http://blog.csdn.net/niying/article/details/27103081