scrapy安装 以及初级使用 修改存放数据路径


最近在看scrapy一个知乎的初级教程

安装 使用国内源


pip install -i https://pypi.douban.com/simple/   scrapy

1.scrapy startproject zimulku 创建一个项目

2.cd zimuku 进入项目目录

3.scrapy genspider demo http://zimuku.net 创建第一个爬虫

4.从 /spiders/demo.py: 开始第一个demo 这里需要 from zimuku.items import ZimukuItem 这个时候需要查看下环境变量


import sys

print(sys.path)

因为导入的是zimuku\zimuku\ 下的items.py 这个时候 如果环境变量没有这个路径会报错

sys.path.append(os.path.dirname(os.path.dirname(sys.path[0])))
sys.path.append(os.path.dirname(sys.path[0]))
这个时候把路径添加到环境变量就行了

5.项目运行的时候有个报错 import win32api错误
这个时候从http://sourceforge.net/projects/pywin32/files%2Fpywin32/这下载你对应的python版本的接口安装


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM