scrapy使用


1、安装:pip3 install scrapy

  结果安装失败,由于Failed building wheel for Twisted;单独安装Twisted,下载了Twisted-16.6.0-cp35-cp35m-win_amd64.whl文件
  pip3 install 目录\Twisted-16.6.0-cp35-cp35m-win_amd64.whl 安装成功,再次执行pip3 install scrapy

 

2、新建项目

  cd 项目存在路径

  scrapy startproject 项目名称

 

 

 

Module `scrapy.conf` is deprecated, use `crawler.settings` attribute instead   from scrapy.conf import settings

 from scrapy.conf import crawler.settings 修改为:from scrapy.settings import Settings

 

 

Module `scrapy.log` has been deprecated, Scrapy now relies on the builtin Python library for logging. Read the updated logging entry in the documentation to learn more.

 

如果scrapy crawl xxx运行爬虫后出现结果报错:


Paste_Image.png
ImportError: cannot import name '_win32stdio' ImportError: No module named 'win32api'

因为twisted需要安装依赖模块pywin32

pip install pypiwin32

 

 

 

Scrapy 'module' object has no attribute 'Spider'错误

 

在“Scrapy入门教程”中,在创建的“dmoz_spider.py”文件中是通过

import scrapy

class DmozSpider(scrapy.Spider):

的方式导入。但是用这种方法会出现错误:

    class DmozSpider(scrapy.Spider):
AttributeError: 'module' object has no attribute 'Spider'

需要换一种方式导入

from scrapy.spider import Spider

class DmozSpider(Spider):

就可以啦!

 

pip源:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 

国内:https://pypi.doubanio.com/simple/

 

参考资料:

http://python.gotrained.com/scrapy-tutorial-web-scraping-craigslist/


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM