由於pycharm不能直接創建scrapy項目,必須通過命令行創建,所以相關操作在pycharm的終端進行:
1、安裝scrapy模塊:pip install scrapy
2、創建一個scrapy項目:scrapy startproject test_scrapy
3、生成一個爬蟲:scrapy genspider itcast "itcast.cn”
4、提取數據:完善spider,使用xpath等方法
5、保存數據:pipeline中保存數據
由於pycharm不能直接創建scrapy項目,必須通過命令行創建,所以相關操作在pycharm的終端進行:
1、安裝scrapy模塊:pip install scrapy
2、創建一個scrapy項目:scrapy startproject test_scrapy
3、生成一個爬蟲:scrapy genspider itcast "itcast.cn”
4、提取數據:完善spider,使用xpath等方法
5、保存數據:pipeline中保存數據
本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。