Scrapy框架是目前Python中最受歡迎的爬蟲框架之一,所以今天就來具體了解一下Scrapy框架。
什么是Scrapy框架？
Scrapy是一個快速、高層次、輕量級的屏幕抓取和web抓取的python爬蟲框架
Scrapy的用途:
Scrapy用途非常廣泛,主要用於抓取特定web站點的信息並從中提取特定結構的數據,除此之外,還可用於數據挖掘、監測、自動化測試、信息處理和歷史片段(歷史記錄)打包等
了解完Scrapy框架后,我們就來看看怎么安裝和使用吧。
安裝Scrapy
安裝方法有兩種:
1. 如果你電腦上有Anaconda的話,可以使用這種方法
windows+r >>> cmd >>> conda install scrapy >>> 回車
2.第二種方法使用pip安裝,不過你需要先下載Twisted插件
下載地址:https://www.lfd.uci.edu/~gohlke /pythonlibs/#twisted
(1)點擊下載地址,進入后按 ctrl+f ,搜索twisted,然后下載對應版本
cp27:表示python2.7版本 cp36:表示python3.6版本
win32:表示Windows32位操作系統
(2)下載完成后進入終端,輸入pip installTwisted-18.7.0-cp36-cp36m-win32.whl
Twisted-18.7.0-cp36-cp36m-win32.whl:文件名(你下載哪個文件就輸入哪個文件的文件名,要輸入全部路徑)
安裝完成后再輸入pip install scrapy,回車
檢測scrapy安裝是否成功:在終端輸入scrapy,出現以下內容就代表安裝成功
