查看所有命令
scrapy -h
查看幫助信息
scapy --help
查看版本信息
(venv)ql@ql:~$ scrapy version
Scrapy 1.1.2
(venv)ql@ql:~$
(venv)ql@ql:~$ scrapy version -v
Scrapy : 1.1.2
lxml : 3.6.4.0
libxml2 : 2.9.4
Twisted : 16.4.0
Python : 2.7.12 (default, Jul 1 2016, 15:12:24) - [GCC 5.4.0 20160609]
pyOpenSSL : 16.1.0 (OpenSSL 1.0.2g-fips 1 Mar 2016)
Platform : Linux-4.4.0-36-generic-x86_64-with-Ubuntu-16.04-xenial
(venv)ql@ql:~$
新建一個工程
scrapy startproject spider_name
構建爬蟲genspider(generator spider)
一個工程中可以存在多個spider, 但是名字必須唯一
scrapy genspider name domain
#如:
#scrapy genspider sohu sohu.org
查看當前項目內有多少爬蟲
scrapy list
view使用瀏覽器打開網頁
scrapy view http://www.baidu.com
shell命令, 進入scrpay交互環境
#進入該url的交互環境
scrapy shell http://www.dmoz.org/Computers/Programming/Languages/Python/Books/
之后便進入交互環境
我們主要使用這里面的response命令, 例如可以使用
response.xpath() #括號里直接加xpath路徑
runspider命令用於直接運行創建的爬蟲, 並不會運行整個項目
scrapy runspider 爬蟲名稱