python爬蟲知識--scrapy框架環境搭建


1.環境說明

系統環境    Win10企業版 x64

python環境    python3.6

 

數據庫環境   mongodb   提取碼: henm

 

IDE環境  visual studio 2017  需要安裝 python tool for visual studio 2017

 

 2、scrapy環境包安裝說明

a.新建python項目 (這里重命名為myscrapy)

 

b.打開命令窗口

 

 

 

c.升級包源管理工具 pip(默認為9.0版本的,升級為18.0版本)

python -m pip  install --upgrade pip

       d.安裝scrapy依賴組件Twisted(這個組件如果直接執行pip install scrapy也會安裝,但會安裝失敗!所以要預先下載,通過whl來本地安裝,提取碼:nn8q)

pip install C:\Users\admin\Downloads\Twisted-18.7.0-cp36-cp36m-win_amd64.whl(路徑供參考)

      e.安裝scrapy

pip install scrapy

      f.安裝 pymongo  requests   (pymongo是操作mongodb的基礎包,requests是下載圖片的依賴包)

pip install pymongo
pip install requests

 

  g.安裝pywin32環境(依賴環境)

   提取碼:79s2

  

 

  3、新建一個sracpy項目

 

scrapy startproject ArticleSpider(示例名,這里是項目名稱)

       執行完成之后,會生成如下的文件夾結構

 

     4.將生成好的文件加入到visual studio2017項目中

a.新建一個python項目,從現有代碼創建

 

 

 b.選擇剛才創建的scrapy文件結構

 

 設置完成之后,scrapy的環境,就搭建完成了。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM