scrapy使用


1、安裝:pip3 install scrapy

  結果安裝失敗,由於Failed building wheel for Twisted;單獨安裝Twisted,下載了Twisted-16.6.0-cp35-cp35m-win_amd64.whl文件
  pip3 install 目錄\Twisted-16.6.0-cp35-cp35m-win_amd64.whl 安裝成功,再次執行pip3 install scrapy

 

2、新建項目

  cd 項目存在路徑

  scrapy startproject 項目名稱

 

 

 

Module `scrapy.conf` is deprecated, use `crawler.settings` attribute instead   from scrapy.conf import settings

 from scrapy.conf import crawler.settings 修改為:from scrapy.settings import Settings

 

 

Module `scrapy.log` has been deprecated, Scrapy now relies on the builtin Python library for logging. Read the updated logging entry in the documentation to learn more.

 

如果scrapy crawl xxx運行爬蟲后出現結果報錯:


Paste_Image.png
ImportError: cannot import name '_win32stdio' ImportError: No module named 'win32api'

因為twisted需要安裝依賴模塊pywin32

pip install pypiwin32

 

 

 

Scrapy 'module' object has no attribute 'Spider'錯誤

 

在“Scrapy入門教程”中,在創建的“dmoz_spider.py”文件中是通過

import scrapy

class DmozSpider(scrapy.Spider):

的方式導入。但是用這種方法會出現錯誤:

    class DmozSpider(scrapy.Spider):
AttributeError: 'module' object has no attribute 'Spider'

需要換一種方式導入

from scrapy.spider import Spider

class DmozSpider(Spider):

就可以啦!

 

pip源:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 

國內:https://pypi.doubanio.com/simple/

 

參考資料:

http://python.gotrained.com/scrapy-tutorial-web-scraping-craigslist/


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM