Django+Scrapy結合使用並爬取數據入庫

 

1. 創建django項目，並編寫models.py,啟動django項目

 

2. 配置Django嵌入
　　Django項目根目錄下創建Scrapy項目（這是scrapy-djangoitem所需要的配置）
　　配置Django嵌入，在Scrapy的settings.py中加入以下代碼：

import os
import sys
sys.path.append(os.path.dirname(os.path.abspath('.')))
os.environ['DJANGO_SETTINGS_MODULE'] = '子app.settings'
# 手動初始化Django：
import django
django.setup()

 

3.編寫爬蟲

 

4.item.py中引入Django模型類

import scrapy
    
from scrapy_djangoitem import DjangoItem
from 子app import models
class TalksItem(DjangoItem):
    django_model = models.表名

 

5.pipelines.py中調用save()

class TalksPipeline(object):
    def process_item(self, item, spider):
        print('打開數據庫')
        item.save() # 數據將會自動添加到指定的表
        print('關閉數據庫')
        return item

 

6.啟動爬蟲：scrapy crawl 爬蟲名

 

7.刷新admin后台，此時數據已經入庫了！

 

開不開心！