scrapy爬蟲框架調用百度地圖api數據存入數據庫

scrapy安裝配置不在本文 提及，

1.在開始爬取之前，必須創建一個新的Scrapy項目。進入自定義的項目目錄中，運行下列命令

scrapy startproject mySpider

• 其中， mySpider 為項目名稱，可以看到將會創建一個 mySpider 文件夾，目錄結構大致如下：

• 下面來簡單介紹一下各個主要文件的作用：

  scrapy.cfg ：項目的配置文件

  mySpider/ ：項目的Python模塊，將會從這里引用代碼

  mySpider/items.py ：項目的目標文件

  mySpider/pipelines.py ：項目的管道文件

  mySpider/settings.py ：項目的設置文件

  mySpider/spiders/ ：存儲爬蟲代碼目錄

　　   mySpider/spiders/__init__.py ：爬蟲主要處理邏輯

2.  今天通過爬蟲調用 百度地圖api來獲取 全國學校的經緯度信息 並入庫。

     百度地圖接口api :http://api.map.baidu.com/place/v2/search?query=小學、中學或者大學&region=地市名字&output=json&ak=你的開發者ak&page_num=頁碼

　　1）打開mySpider目錄下的items.py

              Item 定義結構化數據字段，用來保存爬取到的數據，也是爬取數據后導出的字段，有點像Python中的dict字典，但是提供了一些額外的保護減少錯誤。

　　　　可以通過創建一個 scrapy.Item 類， 並且定義類型為 scrapy.Field的類屬性來定義一個Item。

　　　　items.py

import scrapy


class GetpointItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    name = scrapy.Field()  #學校名稱
    lat = scrapy.Field()   #緯度
    lng = scrapy.Field()   #經度11     city = scrapy.Field()  #地市
    area = scrapy.Field()  #區縣
    address = scrapy.Field()  #地址
    types = scrapy.Field()    #學校類型（小學，中學，大學）

   　　2) 打開 mySpider/spiders目錄里的 __init__.py寫邏輯 ，直接上代碼，有注釋

import scrapy
import json
from urllib.parse import urlencode
from .. import items
class DmozSpider(scrapy.Spider):
    name = "map"
    allowed_domains = []
    #三層循環數組分別請求api，由於百度api返回的數據不是所有，所以必須傳入頁碼，來爬取更多數據。
    def start_requests(self):
        cities = ['北京','上海','深圳']14         types =['小學','中學','大學']
        for city in cities:
            for page in range(1, 16):
                for type_one in types:
                    base_url = 'http://api.map.baidu.com/place/v2/search?'
                    params = {
                        'query': type_one,
                        'region': city,
                        'output':'json',
                        'ak': '你的ak',
                        'page_num': page
                    }
                    url = base_url + urlencode(params)
                    yield scrapy.Request(url, callback=self.parse,meta={"types":type_one})

    def parse(self, response):
        res = json.loads(response.text) #請求回來數據需轉成json 32         result= res.get('results')
        types = response.meta["types"]  #由於api返回來數據沒有學校type的數據，這里需要自己接一下 傳參時的type參數 34         #print(types)
        if result:
            for result_one in result:
                item = items.GetpointItem() #調用item的GetpointItem類，導出item 38                 item['name'] = result_one.get('name')
                item['lat'] = result_one.get('location').get('lat')
                item['lng'] = result_one.get('location').get('lng')42                 item['city'] = result_one.get('city')
                item['area'] = result_one.get('area')
                item['types'] = types
                item['address'] = result_one.get('address')
                yield item
        else:
             print('網絡請求錯誤')

　　3）item導出來了，數據獲取到了，然后 入庫，打開pipelines.py ，代碼如下：

from itemadapter import ItemAdapter
import pymysql
import json

class DBPipeline(object):
    def __init__(self):
        # 連接MySQL數據庫
        self.connect=pymysql.connect(host='localhost',user='root',password='1q2w3e',db='mapspider',port=3306)
        self.cursor=self.connect.cursor()
    def process_item(self, item, spider):
        # 往數據庫里面寫入數據
        try:
            self.cursor.execute("""select * from school where name = %s""", item['name'])
            ret = self.cursor.fetchone()
            if ret:
                print(item['name']+'***********數據重復！***************')
            else:
                self.cursor.execute(
                """insert into school(name, lng, lat, type,city,county,address)
                value (%s, %s, %s, %s, %s, %s, %s)""",
                (
                 item['name'],
                 json.dumps(item['lng']),
                 json.dumps(item['lat']),
                 item['types'],
                 item['city'],
                 item['area'],
                 item['address']
                 ))
                self.connect.commit()
                return item
        except Exception as eror:
            print('錯誤')
    # 關閉數據庫
    def close_spider(self,spider):
        self.cursor.close()
        self.connect.close()

重復數據的話，fecthOne直接排除 ，入庫。。。。，

4）執行腳本 scray crawl map

scrapy crawl map

name 要寫對哦

回車 ，開始 唰唰唰

 

成果如下：

　　　　

     期間 ，百度地圖 api 多次並發，不讓訪問了，多爬幾次就好了，程序邏輯 曉得就好了。

　接口api爬完了，下次爬一爬 頁面xpath上的內容。