由于pycharm不能直接创建scrapy项目,必须通过命令行创建,所以相关操作在pycharm的终端进行:
1、安装scrapy模块:pip install scrapy
2、创建一个scrapy项目:scrapy startproject test_scrapy
3、生成一个爬虫:scrapy genspider itcast "itcast.cn”
4、提取数据:完善spider,使用xpath等方法
5、保存数据:pipeline中保存数据
由于pycharm不能直接创建scrapy项目,必须通过命令行创建,所以相关操作在pycharm的终端进行:
1、安装scrapy模块:pip install scrapy
2、创建一个scrapy项目:scrapy startproject test_scrapy
3、生成一个爬虫:scrapy genspider itcast "itcast.cn”
4、提取数据:完善spider,使用xpath等方法
5、保存数据:pipeline中保存数据
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。