使用pandas中的raad_html函数爬取TOP500超级计算机表格数据并保存到csv文件和mysql数据库中

参考链接:https://www.makcyun.top/web_scraping_withpython2.html

#!/usr/bin/env python # -*- coding: utf-8 -*-

from multiprocessing.pool import Pool import pandas as pd import requests from sqlalchemy import create_engine # 数据库相关信息
HOSTNAME = '127.0.0.1' PORT = '3306' DATABASE = 'top500' USERNAME = 'root' PASSWORD = 'root' SQLALCHEMY_DATABASE_URI = "mysql+mysqlconnector://{username}:{password}@{host}:{port}/{db}?charset=utf8mb4".format( username=USERNAME, password=PASSWORD, host=HOSTNAME, port=PORT, db=DATABASE) SQLALCHEMY_TRACK_MODIFICATIONS = False SQLALCHEMT_ENCODING = 'utf8mb4' engine = create_engine(SQLALCHEMY_DATABASE_URI, echo=True) # 获取网页收据
def get_one_page(url): response = requests.get(url) if response.status_code == 200: return response.text else: return None # 保存到csv文件
def save_csv(html): dataframe = pd.read_html(html) tb = dataframe[0].drop([0])  # 获取网页数据中的第一个表格数据,然后再去掉第一个表格数据中的的第一行(去掉的话csv文件中没有列名,不去掉的话多次写入列名)
    # tb.columns = ['rank', 'site', 'system', 'cores', 'rmax', 'rpeak', 'power'] # 重命名列名
    tb.to_csv(r'top500.csv', mode='a', encoding='utf_8_sig', index=True, header=False)  # 

def save_mysql(html): dataframe = pd.read_html(html) tb = dataframe[0].drop([0]) tb.columns = ['rank', 'site', 'system', 'cores', 'rmax', 'rpeak', 'power'] try: tb.to_sql('top500', con=engine, if_exists='append', index=False)  # 需要事先建好top500数据表,并注意字段名称跟数据列名一一对应,字段值的长度要足够
        print('success') except: print('fail') def main(offset): url = 'https://www.top500.org/list/2018/11/?page=' + str(offset) html = get_one_page(url) # save_csv(html)
 save_mysql(html) if __name__ == '__main__': pool = Pool() pool.map(main, [i for i in range(1, 6)])

 

csv文件效果:

 

csv文件待优化的地方:加上列名

 

mysql效果:

 

问题:

1.不论是csv文件还是mysql表格数据,根据rank字段进行排序,竟然排序的不怎么准确

2.site字段的最后部分数据是国家,这个需要想办法给剥离出来,再弄一列数据展示