Scrapy學習篇(二)之常用命令行工具


簡介

Scrapy是通過Scrapy命令行工具進行控制的,包括創建新的項目,爬蟲的啟動,相關的設置,Scrapy提供了兩種內置的命令,分別是全局命令和項目命令,顧名思義,全局命令就是在任意位置都可以執行的命令,而項目命令只有在你新創建了項目之后,在項目目錄中才可以執行的命令。在這里,簡單的介紹一些常用的命令。

全局命令

  • startproject

    語法: scrapy startproject <project_name>
    這個命令是scrapy最為常用的命令之一,它將會在當前目錄下創建一個名為 <project_name>的項目。
  • settings

    語法: scrapy settings [options]
    該命令將會輸出Scrapy默認設定,當然如果你在項目中運行這個命令將會輸出項目的設定值。
  • runspider

    語法: scrapy runspider <spider_file.py>
    在未創建項目的情況下,運行一個編寫在Python文件中的spider。
  • shell

    語法: scrapy shell [url]
    以給定的URL(如果給出)或者空(沒有給出URL)啟動Scrapy shell。
    例如,scrapy shell http://www.baidu.com將會打開百度URL,
    並且啟動交互式命令行,可以用來做一些測試。
  • fetch

    語法: scrapy fetch <url>
    使用Scrapy下載器(downloader)下載給定的URL,並將獲取到的內容送到標准輸出。簡單的來說,就是打印url的html代碼。
  • view

    語法: scrapy view <url>
    在你的默認瀏覽器中打開給定的URL,並以Scrapy spider獲取到的形式展現。 有些時候spider獲取到的頁面和普通用戶看到的並不相同,一些動態加載的內容是看不到的, 因此該命令可以用來檢查spider所獲取到的頁面。
  • version

    語法: scrapy version [-v]
    輸出Scrapy版本。配合 -v 運行時,該命令同時輸出Python, Twisted以及平台的信息。

項目命令

  • crawl

    語法: scrapy crawl <spider_name>
    使用你項目中的spider進行爬取,即啟動你的項目。這個命令將會經常用到,我們會在后面的內容中經常使用。
  • check

    語法: crapy check [-l] <spider>
    運行contract檢查,檢查你項目中的錯誤之處。
  • list

    語法: scrapy list
    列出當前項目中所有可用的spider。每行輸出一個spider。
  • genspider

    語法: scrapy genspider [-t template] <name> <domain>
    在當前項目中創建spider。該方法可以使用提前定義好的模板來生成spider。您也可以自己創建spider的源碼文件。

總結

上述命令中,startproject和crawl是兩個核心的命令,一個是用來創建項目,一個是用來運行項目,可以說是非常的重要了,至於其他的命令,你可以自己在電腦上運行一下,看一下會出現一些什么樣的信息,只需要了解一下即可,並非必須掌握。在下一個章節中,我們將會創建一個項目,並測試。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM