scrapy 框架的安裝與啟動

scrapy 框架的安裝

安裝的詳細過程：https://cuiqingcai.com/5421.html

Windows平台

如果 pip3 install scrapy 安裝不上，則執行下列步驟安裝

    1、pip3 install wheel #安裝后，便支持通過wheel文件安裝軟件，wheel文件官網：https://www.lfd.uci.edu/~gohlke/pythonlibs
    3、pip3 install lxml
    4、pip3 install pyopenssl
    5、下載並安裝pywin32：https://sourceforge.net/projects/pywin32/files/pywin32/
    6、下載twisted的wheel文件：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
    7、執行pip3 install 下載目錄\Twisted-17.9.0-cp36-cp36m-win_amd64.whl
    8、pip3 install scrapy

mac、Linux平台

pip3 install scrapy

注意：安裝完成后，python的scripts文件夾中會有scrapy可執行文件

啟動程序與爬蟲

創建scrapy項目：

scrapy startproject 項目名   (django創建項目)

創建爬蟲：

scrapy genspider 爬蟲名 要爬取的網站地址   # 可以創建多個爬蟲

啟動爬蟲:

命令行啟動

scrapy crawl 爬蟲名字
scrapy crawl 爬蟲名字 --nolog

scrapy在pycharm配置啟動(無需命令行啟動)

# 在項目路徑下創建一個run.py（名字隨意）,右鍵執行即可
from scrapy.cmdline import execute
# execute(['scrapy','crawl','爬蟲名','--nolog'])
execute(['scrapy','crawl','爬蟲名'])