1.環境說明
系統環境 Win10企業版 x64
python環境 python3.6
數據庫環境 mongodb 提取碼: henm
IDE環境 visual studio 2017 需要安裝 python tool for visual studio 2017
2、scrapy環境包安裝說明
a.新建python項目 (這里重命名為myscrapy)
b.打開命令窗口
c.升級包源管理工具 pip(默認為9.0版本的,升級為18.0版本)
python -m pip install --upgrade pip
d.安裝scrapy依賴組件Twisted(這個組件如果直接執行pip install scrapy也會安裝,但會安裝失敗!所以要預先下載,通過whl來本地安裝,提取碼:nn8q)
pip install C:\Users\admin\Downloads\Twisted-18.7.0-cp36-cp36m-win_amd64.whl(路徑供參考)
e.安裝scrapy
pip install scrapy
f.安裝 pymongo requests (pymongo是操作mongodb的基礎包,requests是下載圖片的依賴包)
pip install pymongo
pip install requests
g.安裝pywin32環境(依賴環境)
提取碼:79s2
3、新建一個sracpy項目
scrapy startproject ArticleSpider(示例名,這里是項目名稱)
執行完成之后,會生成如下的文件夾結構
4.將生成好的文件加入到visual studio2017項目中
a.新建一個python項目,從現有代碼創建
b.選擇剛才創建的scrapy文件結構
設置完成之后,scrapy的環境,就搭建完成了。