今天突然想起來,學了那么久的爬蟲,scrapy被忽視很久了,所以想起來去認真學習下。
第一步安裝模塊就出現了問題,先是用的python2 進行pip安裝。
但是報錯說要什么 MICROSOFT VISUAL C++ 9.0 IS REQUIRED 。
這里找到一個解決方案:
進入錯誤提示給出的網址,下載安裝,重新pip install scrapy 。安裝成功
打開http://aka.ms/vcpython27會跳轉到
http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266
將安裝包下載
Microsoft Visual C++ Compiler for Python 2.7
運行安裝
scrapy 現在也支持python3 了,因為我安裝了python3,所以就再次用pip install scrapy。
這里的報錯是 MICROSOFT VISUAL C++ 14.0...(沒記錯應該是的)
但是給出的網址已經失效了。正好在另外一篇博客找到了可行的解決方案:
進入一下的網站下載對應版本的twisted文件
下載之后將文件放入對應的python安裝目錄的Scripts目錄下
打開命令行,進入Scripts 目錄
輸入:
pip install +(之前下載的文件全名)
會提示Twisted安裝成功,再次嘗試 pip install scrapy
沒有再報錯,安裝成功。