Python 爬取每日全國疫情+數據入庫+可視化顯示

一，數據爬取和數據入庫

.本人因為練習需要學習python 進行數據爬取 所以在網上尋找相關的教學視頻進行學習

 目前python 用到的只是 requests 里的一些方法和 json 格式的轉換 還有就是數據庫的添加操作 

編寫過程中有問題的就是sql 的執行 我使用的是一個json 集合，但是當像Java web 一樣使用sql 語句時出現了問題 :

數據庫的表中對多個操作數無法實現同時操作（添加）， 故尋找許久找到方法： 

使用 cursor 的excusemany 方法  前一個為sql 語句 后一個為 json 數據集和

cursor.executemany(sql,data)

 

# 爬取騰訊的每日疫情數據

import requests
import json
import pymysql

def get_tencent_data():
    """
    爬取目標網站的目標數據
    :return: json 類型數據集合
    """
    #需要爬取的數據網址
    url="https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5"
    headers ={
        #用戶代理 一個反爬取措施
        "user-agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Mobile Safari/537.36"
    }

    r=requests.get(url,headers)
    res=json.loads(r.text)  #第一級轉換  json 字符轉換為字典
    data_all =json.loads(res["data"])
    details = []

    """
    獲取的數據類型如下：
    lastUpdateTime  最后更新時間
    chinaTotal 總數
    chinaDayList 歷史記錄
    chinaDayAddList 歷史新增記錄
    areaTree:-name           areaTree[0] 中國數據
             -today
             -total
             -children：-name  省級數據，列表  json類型
                        -today
                        -total
                        -chilidren：-name 市級數據 列表
                                    -today
                                    -total
    在上面的url當中 已經沒有疫情歷史數據 可以在https://view.inews.qq.com/g2/getOnsInfo?name=disease_other 查詢
    """

    update_time=data_all["lastUpdateTime"]
    data_country=data_all["areaTree"]  #lsit集合   47 個國家
    data_province =data_country[0]["children"]  #中國各省

    for pro_infos in data_province:
        province= pro_infos["name"]   #省名
       # print(province)
        for city_infos in pro_infos["children"]:
            city = city_infos["name"]
            confirm = city_infos["total"]["confirm"]
            confirm_add=city_infos["today"]["confirm"]
            heal= city_infos["total"]["heal"]
            dead=city_infos["total"]["dead"]
            details.append([update_time,province,city,confirm,confirm_add,heal,dead])
    return details


def get_conn():
    """
    建立數據庫連接
    :return:
    """
    conn=pymysql.connect(
                        #本機IP地址
                        host='127.0.0.1',
                        #數據庫用戶名
                        user='root',
                        #密碼
                        password='101032',
                        #需要操作的數據庫名稱
                        db='db_database06',
                        )
    #cursor對象 可以進行sql語句執行 和 獲得返回值
    cursor=conn.cursor()
    return conn,cursor


def close_conn(conn,cursor):
    """
    關閉連接
    :param conn: 連接對象
    :param cursor: cursor對象
    :return:
    """
    if cursor:
        cursor.close()
    if conn:
        conn.close()


def update_yiqingdata():
    """
    更新每日數據
    :return:
    """
    #獲取連接
    conn,cursor=get_conn()
    #獲取數據
    data=get_tencent_data()
    #sql語句 對數據庫進行操作
    sql = "insert into infos(updatetime,province,city,confirm,confirmadd,heal,dead) values(%s,%s,%s,%s,%s,%s,%s)"
    try:
        #執行sql語句
        cursor.executemany(sql,data)
        conn.commit()
    except:
        conn.rollback()
    close_conn(conn,cursor)

#調用函數
update_yiqingdata()

 

二，可視化顯示：

效果展示：

 

 

 

地圖代碼 請參見： --> 點我驚喜

只是將上次的數據查詢sql 語句更改一些，並對 Echart 格式進行些許修改即可