Scrapy的安裝
1. Windows下安裝流程:
方法一: 命令行執行pip install scrapy 安裝scrapy
注意:如果有anaconda,也可以打開“Anaconda prompt”,激活環境以后使用命令:conda install scrapy
方法二:當遇到lxml報錯信息,可以進入非官方安裝包下載對應版本的lxml.whl文件。其它依賴包缺失錯誤,或者不兼容錯誤,也可以下載對應的.whl文件,使用pip install 文件地址+文件名的方式安裝
注意:如果以上方法都無法安裝,並且提示:Requrise Microsoft Visure C++ 14.0,進入這個鏈接https://www.lfd.uci.edu/~gohlke/pythonlibs/下載電腦對應版本名稱為Twisted的程序,並采用pip install 加文件路徑的方法安裝程序。
安裝之后就能正常安裝Scrapy
Scrapy框架生成方法
1.在anaconda prompt中打開要創建框架的文件夾路徑,然后輸入scrapy startproject +項目名稱
2.繼續打開項目所在文件夾,然后輸入scrapy genspider+爬蟲名+域名,創建爬蟲
創建好的項目列表如圖所示

