由於是初學者,業余學習,習慣使用windows,了解到scrapy用戶很多。當然scrapy安裝過程坑很多,主要是Twisted這個大坑。
最近發現已經有第三方處理的Twisted包了,只需要下載和你的python對應版本的whl安裝即可,比如你是用python3.5.x的,那么你要下載名字帶cp35的whl文件,建議下載32位版的,最好不要32位和64位混用,以免出現不必要問題
Twisted和lxml等第三方包可以在這里下載
http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- 安裝twisted,先下載Twisted-xx.whl(比如Twisted-16.4.1-cp35-cp35m-win32.whl),然后切換到下載目錄,用pip安裝,命令pip install Twisted-xx.whl(Twisted-xx.whl改為 實際文件名)
- pip install scrapy。如果遇到提示缺少依賴包,請到這里找 http://www.lfd.uci.edu/~gohlke/pythonlibs/,然后pip install xx.whl (xx.whl改為實際文件名),然后重試。
- 完成后,對照官方手冊可以開始學習。
中文版(scrapy 0.25) http://scrapy-chs.readthedocs.io/zh_CN/latest/
英文版(最新版) http://doc.scrapy.org/en/latest/
