【每天學點Python】案例八：空氣質量指數計算

V1.0功能：AQI計算

案例描述：

案例分析：

• 實現步驟：
  1. 實現每種污染物對應的AQI函數，一個輸入參數，即Cp
  2. 實現線性縮放函數，5個輸入參數

上機實驗：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：AQI計算
"""


def cal_linear(iaqi_lo, iaqi_hi, bp_lo, bp_hi, cp):
    """
        范圍縮放
    """
    iaqi = (iaqi_hi - iaqi_lo) * (cp - bp_lo) / (bp_hi - bp_lo) + iaqi_lo
    return iaqi


def cal_pm_iaqi(pm_val):
    """
        計算PM2.5的IAQI
    """
    if 0 <= pm_val < 35:
        iaqi = cal_linear(0, 50, 0, 35, pm_val)
    elif 35 <= pm_val < 75:
        iaqi = cal_linear(50, 100, 35, 75, pm_val)
    elif 75 <= pm_val < 115:
        iaqi = cal_linear(100, 150, 75, 115, pm_val)
    else:
        pass

    return iaqi


def cal_co_iaqi(co_val):
    """
        計算CO的IAQI
    """
    if 0 <= co_val < 3:
        iaqi = cal_linear(0, 50, 0, 3, co_val)
    elif 3 <= co_val < 5:
        iaqi = cal_linear(50, 100, 2, 4, co_val)

    else:
        pass

    return iaqi


def cal_aqi(para_list):
    """
        AQI計算
    """
    pm_val = para_list[0]
    co_val = para_list[1]

    pm_iaqi = cal_pm_iaqi(pm_val)
    co_iaqi = cal_co_iaqi(co_val)

    iaqi_list = []
    iaqi_list.append(pm_iaqi)
    iaqi_list.append(co_iaqi)

    aqi = max(iaqi_list)
    return aqi


def main():
    """
        主函數
    """
    print('請輸入以下信息，用空格分隔')
    input_str = input('(1)PM2.5 (2)CO:')
    str_list = input_str.split(' ')
    pm_val = float(str_list[0])
    co_val = float(str_list[1])

    para_list = []
    para_list.append(pm_val)
    para_list.append(co_val)

    # 調用AQI計算函數
    aqi_val = cal_aqi(para_list)

    print('空氣質量指數為：{}'.format(aqi_val))


if __name__ == '__main__':
    main()

 

---

V2.0功能：json文件讀取

案例描述：

• 讀取已經獲取的JSON數據文件
• 並將AQI前5的數據輸出到文件

上機實驗：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：2.0 JSON文件讀取
"""
import json


def process_json_file(filepath):
    """
        解碼json文件
    """
    f = open(filepath,mode='r',encoding='utf-8')
    city_list = json.load(f)
    return city_list


def main():
    """
        主函數
    """
    filepath = input('請輸出json文件名稱：')
    city_list = process_json_file(filepath)
    city_list.sort(key=lambda city:city['aqi'])
    top5_list = city_list[:5]

    f = open('top5_aqi.json',mode='w',encoding='utf-8')
    json.dump(top5_list,f,ensure_ascii=False)
    f.close()


if __name__ == '__main__':
    main()

補充說明：

1. JSON格式

• JSON（JavaScript Object Notation）是一種輕量級數據交換格式
• 可以對復雜數據進行表達和存儲，易於閱讀和理解
• 規則
  1. 數據保存在鍵值對中
  2. 鍵值對之間由逗號分隔
  3. 花括號用於保存鍵值對數據組成的對象
  4. 方括號用於保存鍵值對數據組成的數組
• 采用對象、數組方式組織起來的鍵值對可以表示任何結構的數據
• JSON格式是互聯網上主要使用的復雜數據格式之一

[
    {
        "aqi":47,
        "area":"北京",
        "position_name":"萬壽西宮",
        "time_point":"2017-07-29"
    },
    {
        "aqi": 63,
        "area": "北京",
        "position_name": "叮鈴",
        "time_point": "2017-07-29"
    }
]

2. JSON庫

• JSON庫是處理JSON格式的Python標准庫
• 兩個過程：
  • 編碼（encoding），將Python數據類型轉換成JSON格式的過程
  • 解碼（decoding），從JSON格式中解析數據對用到Python數據類型的過程
• 函數：
  • dumps()，將Python數據類型轉換為JSON格式
  • loads()，將JSON格式字符串轉換為Python數據類型
  • dump()，與dumps()功能一致，輸出到文件
  • load()，與loads()功能一致，從文件讀入

3. 列表排序

• list.sort(func)
  • func指定了排序的方法
  • func可以通過lambda函數實現

4. JSON格式轉換

• 百度搜索“json format”，可以轉換

 

---

V3.0功能：讀取JSON數據文件並將其轉換為CSV文件

案例描述：

• 讀取已經獲取的JSON數據文件
• 並將其轉換為CSV文件

上機實驗：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：3.0 JSON文件讀取,轉換為CSV文件
"""
import json
import csv


def process_json_file(filepath):
    """
        解碼json文件
    """
    f = open(filepath,mode='r',encoding='utf-8')
    city_list = json.load(f)
    return city_list


def main():
    """
        主函數
    """
    filepath = input('請輸出json文件名稱：')
    city_list = process_json_file(filepath)
    city_list.sort(key=lambda city:city['aqi'])

    lines = []
    # 列名
    lines.append(list(city_list[0].keys()))
    for city in city_list:
        lines.append(list(city.values()))

    f = open('aqi.csv','w',encoding='utf-8',newline='')
    writer = csv.writer(f)
    for line in lines:
        writer.writerow(line)


if __name__ == '__main__':
    main()

補充說明：

1. CSV格式

• CSV（Comma-Separated Values）是一種通用的、相對簡單的文件格式
• 在商業和科學領域上廣泛使用
• 規則
  1. 以行為單位
  2. 每行表示一條記錄
  3. 以英文逗號分割每列數據（如果數據為空，逗號也要保留）
  4. 列名通常放置在文件第一行
• import csv
• csv.writerow(list)將列表中的元素寫入文件的一行中

 

---

V4.0增加功能：判斷輸入的文件判斷是JSON格式還是CSV格式，並進行相應的操作

案例描述：

• 根據輸入的文件判斷是JSON格式還是CSV格式，並進行相應的操作

上機實驗：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：4.0 JSON文件讀取,轉換為CSV文件
"""
import json
import csv
import os


def process_json_file(filepath):
    """
        解碼json文件
    """
    # f = open(filepath,mode='r',encoding='utf-8')
    # city_list = json.load(f)
    # return city_list

    with open(filepath,mode='r',encoding='utf-8') as f:
        city_list = json.load(f)
    print(city_list)


def process_csv_file(filepath):
    """
        處理csv文件
    """
    with open(filepath, mode='r', encoding='utf-8', newline='') as f:
        reader = csv.reader(f)
        for row in reader:
            print(', '.join(row))   # 將列表里每一行的函數用‘, ’連接起來


def main():
    """
        主函數
    """
    filepath = input('請輸入文件名稱：')
    filename, file_ext = os.path.splitext(filepath)

    if file_ext == '.json':
        # json文件
        process_json_file(filepath)
    elif file_ext == '.csv':
        # csv文件
        process_csv_file(filepath)
    else:
        print('不支持的文件格式！')


if __name__ == '__main__':
    main()

補充說明：

1. CSV補充

• CSV文件讀取

import csv
csv.reader()    將沒行記錄作為列表返回

• 使用with語句操作文件對象

with open('file name') as somefile:
    for line in somefile:
        print(line)

• 使用with語句，不管在處理文件過程中是否發生異常，都能保證with語句執行完畢后關閉文件，不需要close()語句。

2. os模塊

• os模塊提供了與系統、目錄操作相關的功能，不受平台的限制

函數	含義
os.remove()	刪除文件
os.makedirs()	創建多層目錄
os.rmdir()	刪除單級目錄
os.rename()	重命名文件
os.path.isfile()	判斷是否為文件
os.path.isdir()	判斷是否為目錄
os.path.join()	連接目錄，如path1連接path2為path1/path2
os.path.splitext()	將文件分割成文件名與擴展名，如分割tmp.txt為tmp和.txt

 

---

 V5.0增加功能：網絡爬蟲

案例描述：

• 為了能有效地提取並利用網絡信息並提供工作效率，出現了網絡爬蟲
• 利用網絡爬蟲實時獲取城市的空氣質量

上機實驗：

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: Kevin.Wang
# time  : 2018/10/16


"""
    作者：王鑫正
    版本：1.0
    日期：2018/10/16
    功能：4.0 JSON文件讀取,轉換為CSV文件
"""

import requests


def get_html_text(url):
    """

    """
    r = requests.get(url, timeout=30)
    # print(r.status_code)
    return r.text


def main():
    """
        主函數
    """
    city_pinyin = input('請輸入城市拼音：',)
    url = 'http://pm25.in/' + city_pinyin
    url_text = get_html_text(url)
    # print(url_text)
    aqi_div = '''<div class="span12 data">
        <div class="span1">
          <div class="value">
            '''
    index = url_text.find(aqi_div)
    begin_index = index + len(aqi_div)
    end_index = begin_index + 2
    aqi_val = url_text[begin_index:end_index]
    print('空氣質量為：{}'.format(aqi_val))


if __name__ == '__main__':
    main()

補充說明：

1. 網絡爬蟲

• 自動抓取互聯網信息的程序；利用互聯網數據進行分析、開發產品
• 步驟：
  1. 通過網絡鏈接獲取網頁內容
  2. 對獲得的網頁內容進行處理

2. requests模塊

• requests模塊是一個簡潔且簡單的處理HTTP請求的工具
• 支持非常豐富的鏈接訪問功能，包括URL獲取，HTTP會話，Cookie記錄等
• requests網頁請求

函數	含義
get()	對應HTTP的GET方式
post()	對應HTTP的POST方式，用於傳遞用戶數據

• requests對象屬性

函數	含義
status_code	HTTP請求的返回狀態，200表示連接成功，400表示失敗
text	HTTP相應內容的字符串形式，即url對應的頁面內容

• 更多方法參考：http://docs.python-requests.org/

3. 網頁常用操作

• 查看對應代碼，右鍵選擇“審查元素”
• 打開網頁源碼，Ctrl+U

 

---

V5.0

案例描述：

• 為了能有效地提取並利用網絡信息並工作提高效率。出現了網絡爬蟲
• 利用網絡爬蟲實時獲取城市的空氣質量
• 高效地解析和處理HTML，beautifulsoup4

上機實驗：

 

補充說明：

 

1. 網頁解析

• 結構化解析
• DOM（Document Object Model），樹形結構

2.BeautifulSoup解析網頁

• 用於解析HTML或XML
• pip install beautifulsoup4
• import bs4
• 步驟
  1. 創建BeautifulSoup對象
  2. 查詢節點
     • find，找到第一個滿足條件的節點
     • find_all，找到所有滿足條件的節點
• 創建對象
  • 創建BeautifulSoup對象

bs = BeautifulSoup(
    url,
    html_parser, 指定解析器
    enoding        指定編碼格式（確保和網頁編碼格式一致）      
)