爬取中國各地區大學排名變化數據與可視化分析

一、選題背景

              高考作為中國學生生涯中最為重要的事，在高考之后，選擇一所好的大學則是接下的人生的一塊的敲門磚，選擇有着好的大學，和有着良好教育氛圍的城市以及所選擇的大學近年來的變化是很重要的事，在以前，想要了解這些需要翻閱查找大量的資料，而現在我們可以通過python輕易地了解這些。

 

二、爬蟲方案設計

         

1.方案名稱：

　　中國大學年排名變化數據與可視化分析

2.爬取的內容與數據特征分析：

　　通過網站收錄的中國大學截止到2019年的排名（因為2020到2021年的疫情對排名變化）

3. 方案概述

　　分析網站頁面結構，找到爬取數據的位置，根據不同的數據制定不同的爬取方法

三、網站頁面結構分析

        

1.網頁頁面的結構與特性分析

　　通過瀏覽器“審查元素”查看源代碼及“網絡”反饋

 

 

 

 

 

 

 

 

 

可以看到每一個 tr 里面都有一行數據，這就是所需要的數據，通過 contents 獲取標簽對里面的數據。

 

 

 

四、爬蟲程序設計

     

1. 數據的爬取

import requests
from lxml import html
def Tree(url):
    req = requests.get(url)
    req.encoding ='utf-8-sig'
    allUniv = []
    tree = html.fromstring(req.text)
    trs = tree.xpath('//tbody/tr')
    for tr in trs:
        tds = tr.xpath('td')
        if tds == 0:
            continue
        oneUniv=[]
        oneUniv.append(tds[0].text)
        name = tds[1].xpath('div')
        oneUniv.append(name[0].text)
        for td in tds[2:]:
            oneUniv.append(td.text)
        allUniv.append(oneUniv)
    return allUniv

url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
tree=Tree(url)
print("排名   學校名稱   省市   總分")
for i in range(20):
     print(tree[i][0],tree[i][1],tree[i][2],tree[i][3],sep='   ')

from bs4 import BeautifulSoup
def Req(url):
    req=requests.get(url)
    req.encoding='utf-8-sig'
    allUniv=[]
    soup=BeautifulSoup(req.text,"html.parser")
    trs=soup.find_all('tr')
    for tr in trs:
        tds=tr.find_all('td')
        if len(tds)==0:
            continue
        oneUniv=[]
        for td in tds:
            oneUniv.append(td.string)
        allUniv.append(oneUniv)
    return allUniv

allUniv1=Req(url)
print("排名   學校名稱   省市   總分")
for i in range(20):
     print(allUniv1[i][0],allUniv1[i][1],allUniv1[i][2],allUniv1[i][3],sep='   ')

import matplotlib.pyplot as plt
plt.rcParams["font.sans-serif"]=["SimHei"]
name=[]
sorce=[]
for i in range(10):
    name.append(allUniv1[i][1])
    sorce.append(float(allUniv1[i][3]))
plt.barh(range(len(sorce)),sorce,tick_label=name)
plt.title("2019年排名前十位的大學及其總分")
plt.xlabel('分數')
plt.show()

from collections import Counter
province=[]
for i in range(len(allUniv1)):
    province.append(allUniv1[i][2])
result=Counter(province)
print(result)

2.數據簡單分析且可視化

    （1）繪制餅狀圖

import matplotlib as mpl
mpl.rcParams["font.sans-serif"]=["SimHei"]
mpl.rcParams["axes.unicode_minus"]=False
plt.pie(result.values(),labels=result.keys(),radius=2)
plt.title("各省份大學數量占比餅狀圖")
plt.show()

 

（2）繪制柱狀圖

     

def dataanly1():
    df_score = df.sort_values('score',ascending=False) # asc Flase降序 True升序 ； desc

    name1 = df_score.schoolname[:10]  # x軸坐標
    score1 = df_score.score[:10]    # y軸坐標

    plt.bar(range(10),score1,tick_label=name1)  # 繪制條形圖,用range()能保持x軸順序一致
    plt.ylim(10,100)
    plt.title("大學評分最高Top10",color=colors1)
    plt.xlabel("大學名稱")
    plt.ylabel("評分")

    # 標記數值
    for x,y in enumerate(list(score1)):
        plt.text(x,y+0.5,'%s' %round(y,1),ha='center',color=colors1)
        pass

    pl.xticks(rotation=270) # 旋轉270°
    plt.tight_layout()  # 去除空白

    plt.show()
def DXAnly2():
    area_count = df.groupby(by='area').area.count().sort_values(ascending=False)
    # 繪圖方法1
    area_count.plot.bar(color='#4652B1')  # 設置為藍紫色
    pl.xticks(rotation=0)  # x軸名稱太長重疊，旋轉為縱向
    for x, y in enumerate(list(area_count.values)):
        plt.text(x, y + 0.5, '%s' % round(y, 1), ha='center', color=colors1)
    plt.title('各地區大學數量排名')
    plt.xlabel('地區')
    plt.ylabel('數量(所)')
    plt.show()

 

def dataanly1():

    df_score = df.sort_values('score',ascending=False) # asc Flase降序 True升序 ； desc

    name1 = df_score.schoolname[:10]  # x軸坐標

    score1 = df_score.score[:10]    # y軸坐標

    plt.bar(range(10),score1,tick_label=name1)  # 繪制條形圖,用range()能保持x軸順序一致
    plt.ylim(10,100)

    plt.title("大學評分最高Top10",color=colors1)

    plt.xlabel("大學名稱")

    plt.ylabel("評分")

    # 標記數值
    for x,y in enumerate(list(score1)):
        plt.text(x,y+0.5,'%s' %round(y,1),ha='center',color=colors1)
        pass

    pl.xticks(rotation=270) # 旋轉270°
   
   plt.tight_layout()  # 去除空白

    plt.show()

 

 

 

 

     通過所繪制柱狀圖與餅狀圖，我們可以清晰地看出優秀大學在各個省份占比，在選擇大學的時候，可以優先選擇教育資源更加多源，高等教育水平更高的省份城市，

其中前三名的地區是北京、江蘇、上海，經濟水平較為發達的地區，可以簡單的看見高素質教育水平可以影響地區經濟的發展。

（4）繪制折線圖

from pyecharts.charts import Line
from pyecharts import options as opts

line = (
    Line()
    .add_xaxis(top10_sum.index.tolist())
    .add_yaxis("總分", top10_sum["總分"].astype('int').tolist())
    .set_global_opts(title_opts=opts.TitleOpts(title="中國最好大學TOP10(各省份)" ,subtitle="總分"))
)
line.render_notebook()

 

 

 

 

（5）繪制詞雲

         

from PIL import Image
from os import path
from wordcloud import WordCloud
wordcloud=WordCloud(
    background_color = '#f3f3f3',
    font_path = 'C:\Windows\Fonts\msyh.ttc',
    margin=3,
    max_font_size=60,
    random_state=50,
    scale=10,
    colormap='viridis',
    
)
wordcloud.generate_from_frequencies(result)
plt.imshow(wordcloud,interpolation = 'bilinear')
plt.axis('off')
plt.show()

 （6）各省市大學數量平均分縱向柱狀圖

df1.sort_values(by=['平均分'], ascending=False, inplace=True)
d1 = df1.index.tolist()
d2 = df1['數量'].values.tolist()
d3 = df1['平均分'].values.tolist()

bar0 = (
    Bar()
    .add_xaxis(d1)
    .add_yaxis('數量', d2)
    .add_yaxis('平均分數', d3)
    .set_global_opts(
        title_opts=opts.TitleOpts(title='中國大學排名'),
        yaxis_opts=opts.AxisOpts(name='量'),
        xaxis_opts=opts.AxisOpts(name='省份'),
    )
)

 

 

 

（7）各省市大學數量平均分橫向柱狀圖

       

df1.sort_values(by=['平均分'], inplace=True)

d1 = df1.index.tolist()
d2 = df1['數量'].values.tolist()
d3 = df1['平均分'].values.tolist()

bar1 = (
    Bar()
    .add_xaxis(d1)
    .add_yaxis('數量', d2)
    .add_yaxis('平均分數', d3)
    .reversal_axis()
    .set_series_opts(label_opts=opts.LabelOpts(position='right'))
    .set_global_opts(
        title_opts=opts.TitleOpts(title='中國大學排名'),
        yaxis_opts=opts.AxisOpts(name='省份'),
        xaxis_opts=opts.AxisOpts(name='量'),
    )
)

 

 

 

（8）繪制玫瑰圖

   

name = df_counts.index.tolist()

count = df_counts.values.tolist()

c0 = (
    Pie()
    .add(
        '',
        [list(z) for z in zip(name, count)],
        radius=['20%', '60%'],
        center=['50%', '65%'],
        rosetype="radius",
        label_opts=opts.LabelOpts(is_show=False),
    )
    .set_series_opts(label_opts=opts.LabelOpts(formatter='{b}: {c}'))
)

（9）大學地圖分布

       

name = df0.index.tolist()

count = df0.values.tolist()

m = (
        Map()
        .add('', [list(z) for z in zip(name, count)], 'china')
        .set_global_opts(
            title_opts=opts.TitleOpts(title='中國大學排名'),
            visualmap_opts=opts.VisualMapOpts(max_=40, split_number=8, is_piecewise=True),
        )
    )

 

 

 

 

 

 

（10）選定繪制折線圖

       選擇一所大學，查看這所大學今年來的排名變化，這里選擇北京郵電大學

   

sorce2=[]
for i in range(4):
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming'+str(i+2016)+'.html'
    allUniv=Req(url)
    for i in range(len(allUniv)):
        if  allUniv[i][1]=="北京郵電大學":
            j=i
            break
    sorce2.append(float(allUniv[j][3])) 
print(sorce2)

years=[2016,2017,2018,2019]
plt.subplot(1,1,1)
plt.plot(years,sorce2,marker='o')
plt.grid(True)
plt.title("北京郵電大學2016-2019年評分走勢")
plt.xlabel('年')
plt.ylabel('分數')
plt.show()

 

 

五、代碼匯總

      

import requests
from lxml import html

def Tree(url):
    req = requests.get(url)
    req.encoding ='utf-8-sig'
    allUniv = []

    tree = html.fromstring(req.text)
    trs = tree.xpath('//tbody/tr')
    
     for tr in trs:
        tds = tr.xpath('td')
        if tds == 0:
            continue
        oneUniv=[]
        oneUniv.append(tds[0].text)
        name = tds[1].xpath('div')
        oneUniv.append(name[0].text)

        for td in tds[2:]:
            oneUniv.append(td.text)
        allUniv.append(oneUniv)
    return allUniv

   
  url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html'
  tree=Tree(url)
  print("排名   學校名稱   省市   總分")
  for i in range(20):
     print(tree[i][0],tree[i][1],tree[i][2],tree[i][3],sep='   ')

 from bs4 import BeautifulSoup

def Req(url):
    req=requests.get(url)
    req.encoding='utf-8-sig'
    allUniv=[]
    soup=BeautifulSoup(req.text,"html.parser")
    trs=soup.find_all('tr')
   
     for tr in trs:
        tds=tr.find_all('td')
        if len(tds)==0:
            continue

        oneUniv=[]
        for td in tds:
            oneUniv.append(td.string)
        allUniv.append(oneUniv)

    return allUniv
   allUniv1=Req(url)
   print("排名   學校名稱   省市   總分")
   for i in range(20):
     print(allUniv1[i][0],allUniv1[i][1],allUniv1[i][2],allUniv1[i][3],sep='   ')

import csv

with open('text2019.csv', 'w',newline='') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['排名','學校名稱','省市','總分','指標得分','生源質量（新生高考成績得分）','培養結果（畢業生就業率）','社會聲譽（社會捐贈收入·千元）','科研規模（論文數量·篇）','科研質量（論文質量·FWCI）','頂尖成果（高被引論文·篇）','頂尖人才（高被引學者·人）','科技服務（企業科研經費·千元）','成果轉化（技術轉讓收入·千元）'])
    for row in allUniv1:
        writer.writerow(row)

import matplotlib.pyplot as plt

plt.rcParams["font.sans-serif"]=["SimHei"]
name=[]
sorce=[]

for i in range(10):
    name.append(allUniv1[i][1])
    sorce.append(float(allUniv1[i][3]))
plt.barh(range(len(sorce)),sorce,tick_label=name)
plt.title("2019年排名前十位的大學及其總分")
plt.xlabel('分數')
plt.show()

from collections import Counter

province=[]
for i in range(len(allUniv1)):
    province.append(allUniv1[i][2])
result=Counter(province)
print(result)

import matplotlib as mpl

mpl.rcParams["font.sans-serif"]=["SimHei"]
mpl.rcParams["axes.unicode_minus"]=False
plt.pie(result.values(),labels=result.keys(),radius=2)
plt.title("各省份大學數量占比餅狀圖")

from PIL import Image
from os import path
from wordcloud import WordCloud

wordcloud=WordCloud(
    background_color = '#f3f3f3',
    font_path = 'C:\Windows\Fonts\msyh.ttc',
    margin=3,
    max_font_size=60,
    random_state=50,
    scale=10,
    colormap='viridis',
    
)
wordcloud.generate_from_frequencies(result)
plt.imshow(wordcloud,interpolation = 'bilinear')

plt.axis('off')
plt.show()
plt.show()

def dataanly1():
    df_score = df.sort_values('score',ascending=False) # asc Flase降序 True升序 ； desc

    name1 = df_score.schoolname[:10]  # x軸坐標
    score1 = df_score.score[:10]    # y軸坐標

    plt.bar(range(10),score1,tick_label=name1)  # 繪制條形圖,用range()能保持x軸順序一致
    plt.ylim(10,100)
    plt.title("大學評分最高Top10",color=colors1)
    plt.xlabel("大學名稱")
    plt.ylabel("評分")

    # 標記數值
    for x,y in enumerate(list(score1)):
        plt.text(x,y+0.5,'%s' %round(y,1),ha='center',color=colors1)
        pass

    pl.xticks(rotation=270) # 旋轉270°
    plt.tight_layout()  # 去除空白

    plt.show()

def DXAnly2():
    area_count = df.groupby(by='area').area.count().sort_values(ascending=False)
    # 繪圖方法1

    area_count.plot.bar(color='#4652B1')  # 設置為藍紫色
    pl.xticks(rotation=0)  # x軸名稱太長重疊，旋轉為縱向
    for x, y in enumerate(list(area_count.values)):
        plt.text(x, y + 0.5, '%s' % round(y, 1), ha='center', 
color=colors1)

    plt.title('各地區大學數量排名')
    plt.xlabel('地區')
    plt.ylabel('數量(所)')
    plt.show()

from PIL import Image
from os import path
from wordcloud import WordCloud

wordcloud=WordCloud(
    background_color = '#f3f3f3',
    font_path = 'C:\Windows\Fonts\msyh.ttc',
    margin=3,
    max_font_size=60,
    random_state=50,
    scale=10,
    colormap='viridis',
    
)
wordcloud.generate_from_frequencies(result)
plt.imshow(wordcloud,interpolation = 'bilinear')
plt.axis('off')
plt.show()

from pyecharts.charts import Line
from pyecharts import options as opts

line = (
    Line()
    .add_xaxis(top10_sum.index.tolist())
    .add_yaxis("總分", top10_sum["總分"].astype('int').tolist())
    .set_global_opts(title_opts=opts.TitleOpts(title="中國最好大學TOP10(各省份)" ,subtitle="總分"))
)
line.render_notebook()

df1.sort_values(by=['平均分'], ascending=False, inplace=True)
d1 = df1.index.tolist()
d2 = df1['數量'].values.tolist()
d3 = df1['平均分'].values.tolist()

bar0 = (
    Bar()
    .add_xaxis(d1)
    .add_yaxis('數量', d2)
    .add_yaxis('平均分數', d3)
    .set_global_opts(
        title_opts=opts.TitleOpts(title='中國大學排名'),
        yaxis_opts=opts.AxisOpts(name='量'),
        xaxis_opts=opts.AxisOpts(name='省份'),
    )
)

df1.sort_values(by=['平均分'], inplace=True)

d1 = df1.index.tolist()
d2 = df1['數量'].values.tolist()
d3 = df1['平均分'].values.tolist()

bar1 = (
    Bar()
    .add_xaxis(d1)
    .add_yaxis('數量', d2)
    .add_yaxis('平均分數', d3)
    .reversal_axis()
    .set_series_opts(label_opts=opts.LabelOpts(position='right'))
    .set_global_opts(
        title_opts=opts.TitleOpts(title='中國大學排名'),
        yaxis_opts=opts.AxisOpts(name='省份'),
        xaxis_opts=opts.AxisOpts(name='量'),
    )
)


name = df_counts.index.tolist()

count = df_counts.values.tolist()

c0 = (
    Pie()
    .add(
        '',
        [list(z) for z in zip(name, count)],
        radius=['20%', '60%'],
        center=['50%', '65%'],
        rosetype="radius",
        label_opts=opts.LabelOpts(is_show=False),
    )
    .set_series_opts(label_opts=opts.LabelOpts(formatter='{b}: {c}'))
)



name = df0.index.tolist()

count = df0.values.tolist()

m = (
        Map()
        .add('', [list(z) for z in zip(name, count)], 'china')
        .set_global_opts(
            title_opts=opts.TitleOpts(title='中國大學排名'),
            visualmap_opts=opts.VisualMapOpts(max_=40, split_number=8, is_piecewise=True),
        )
    )


sorce2=[]
for i in range(4):
    url='http://www.zuihaodaxue.cn/zuihaodaxuepaiming'+str(i+2016)+'.html'
    allUniv=Req(url)
    for i in range(len(allUniv)):
        if  allUniv[i][1]=="北京郵電大學":
            j=i
            break
    sorce2.append(float(allUniv[j][3])) 
print(sorce2)

years=[2016,2017,2018,2019]
plt.subplot(1,1,1)
plt.plot(years,sorce2,marker='o')
plt.grid(True)
plt.title("北京郵電大學2016-2019年評分走勢")
plt.xlabel('年')
plt.ylabel('分數')
plt.show()

 

六、總結

         一所好的大學，對人生的影響是非常巨大的，在力所能及的范圍內選擇一所位於教育資源更加多源，高等教育水平更高的省份城市的優秀大學是非常重要的事，作為判斷標准的數據，在以往單單是一所大學的相關資料就需要通過大量、繁瑣的查找與翻閱才能夠得到，若是多所大學的多年的變化則需要更多的時間。而現在通過python的則能夠相對輕松的得到。