Bilibili動漫排行榜信息爬取分析

(一)、選題的背景

　　互聯網從發展到至今，已經深入到人們的日常生活中，並且不論老人還是小孩，多少都會接觸到互聯網。在這個越來越信息化的社會，互聯網上的信息量更是爆炸式的增長，但是在如此巨大的信息量中，我們想要找到我們需要的價值信息就非常困難了。國內國外包含了很多搜索引擎，類似有搜狗，百度，360等等，我們如何有效的尋找具有價值的信息？網絡爬蟲應運而生，它可以幫助我們在繁瑣的信息網中爬取出關鍵信息，而且可以一次性的爬取出來，省去了人力搜索。

 

(二)、主題式網絡爬蟲設計方案

1.主題式網絡爬蟲名稱

           Bilibili動漫排行榜信息爬取分析

2.主題式網絡爬蟲爬取的內容與數據特征分析

           爬取熱門動漫番名、播放量、評論量、收藏量等信息，從而作出分析。

3.主題式網絡爬蟲設計方案概述

           使用爬蟲爬取 Bilibili動漫排行榜（嗶哩嗶哩排行榜 (bilibili.com)） 信息然對數據進行相應的處理，最后對處理后的數據進行可視化分析。

(三)、主題頁面的結構特征分析

1.主題頁面的結構與特征分析

爬取頁面展示

 

 

 

 

2.Htmls 頁面解析

f12進入后，尋找所要信息

 

 

 

3.節點（標簽）查找方法與遍歷方法

找出他們對應的class名，之后使用for循環遍歷這些標簽，再進行輸出

 

 

 

 

(四)、網絡爬蟲程序設計

爬蟲程序主體要包括以下各部分，要附源代碼及較詳細注釋，並在每部分程序后面提供輸出結果的截圖。

1.數據爬取與采集

# 導入相關庫
import requests
import json
from bs4 import BeautifulSoup

def get_html(url):
    try:
        r = requests.get(url)             # 使用get來獲取網頁數據
        r.raise_for_status()              # 如果返回參數不為200，拋出異常
        r.encoding = r.apparent_encoding  # 獲取網頁編碼方式
        return r.text                     # 返回獲取的內容
    except:
        return '錯誤'


url = 'https://www.bilibili.com/v/popular/rank/bangumi'    # 網址
html = get_html(url)                                       # 獲取返回值
print(html)                                              # 打印

 

 

 2.提取需要的數據，並保存為.xlsx

def save(html):
    # 解析網頁
    soup = BeautifulSoup(html, 'html.parser')  # 指定Beautiful的解析器為“html.parser”

    # 定義好相關列表准備存儲相關信息
    name = []  # 動漫名字
    bfl = []  # 播放量
    pls = []  # 評論數
    scs = []  # 收藏數

    #  動漫名字存儲
    for tag in soup.find_all('div', class_='info'):
        # print(tag)
        bf = tag.a.string
        name.append(str(bf))
    print(name)

    #  播放量存儲
    for tag in soup.find_all('div', class_='detail'):
        # print(tag)
        bf = tag.find('span', class_='data-box').get_text()
        # 統一單位為‘萬’
        if '億' in bf:
            num = float(re.search(r'\d(.\d)?', bf).group()) * 10000
            # print(num)
            bf = num
        else:
            bf = re.search(r'\d*(\.)?\d', bf).group()
        bfl.append(float(bf))
    print(bfl)
    #  評論數存儲
    for tag in soup.find_all('div', class_='detail'):
        # pl = tag.span.next_sibling.next_sibling
        pl = tag.find('span', class_='data-box').next_sibling.next_sibling.get_text()
        #統一單位
        if '萬' not in pl:
            pl = '%.1f' % (float(pl) / 10000)
            # print(123, pl)
        else:
            pl = re.search(r'\d*(\.)?\d', pl).group()
        pls.append(float(pl))
    print(pls)
    #  收藏數
    for tag in soup.find_all('div', class_='detail'):
        sc = tag.find('span', class_='data-box').get_text()
        sc = re.search(r'\d*(\.)?\d', sc).group()
        scs.append(float(sc))
    print(scs)
    
    
    # 存儲至excel表格中
    info = {'動漫名': name, '播放量(萬)': bfl, '評論數(萬)': pls, '收藏數(萬)': scs}
    dm_file = pandas.DataFrame(info)
    #查找重復值
    #print(dm_file.duplicated())
    
    #查找缺少值
    #print(dm_file.isnull())
    
    dm_file.to_excel('Dongman.xlsx', sheet_name="動漫數據分析")
    # 將所有列表返回
    return name, bfl, pls, scs, TScore

 

 

 

3.查找缺少/重復值

#查找重復值
    #print(dm_file.duplicated())
    
    #查找缺少值
    #print(dm_file.isnull())

 

 

 

 

 4.繪制條形圖

def view(info):
    my_font = font_manager.FontProperties(fname='./data/simhei.ttf')  # 設置中文字體（圖標中能顯示中文）
    dm_name = info[0]  # 番劇名
    dm_play = info[1]  # 番劇播放量
    dm_review = info[2]  # 番劇評論數
    dm_favorite = info[3]  # 番劇收藏數

    # 為了坐標軸上能顯示中文
    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False


    # *******收藏數條形圖
    fig, ax1 = plt.subplots()
    plt.bar(dm_name, dm_favorite, color='red')  #設置柱狀圖
    plt.title('綜合評分和播放量數據分析', fontproperties=my_font)  # 表標題
    ax1.tick_params(labelsize=6)
    plt.xlabel('番劇名')  # 橫軸名
    plt.ylabel('收藏數')  # 縱軸名
    plt.xticks(rotation=90, color='green')  # 設置橫坐標變量名旋轉度數和顏色
    plt.show()
        
 

    # 評論數條形圖
    fig, ax3 = plt.subplots()
    plt.bar(dm_name, dm_review, color='green')
    plt.title('番劇評論數和收藏數分析')
    plt.ylabel('評論數（萬）')
    ax3.tick_params(labelsize=6)
    plt.xticks(rotation=90, color='green')
    plt.show()
    

    # 綜合評分條形圖
    fig, ax5 = plt.subplots()
    plt.bar(dm_name, dm_favorite, color='red')
    plt.title('綜合評分和收藏數量數據分析')
    plt.ylabel('綜合評分')
    ax5.tick_params(labelsize=6)
    plt.xticks(rotation=90, color='green')
    plt.show()
    
   
    #播放量條形圖
    fig, ax7 = plt.subplots()
    plt.bar(dm_name, dm_play, color='cyan')
    plt.title('播放量和評論數 數據分析')
    plt.ylabel('播放量（萬）')
    ax7.tick_params(labelsize=6)
    plt.xticks(rotation=90, color='green')
    plt.show()
    

 

 

 

 

 

 

 

 

 

 

 

 

5.繪制餅圖

 #繪制播放量占比餅圖
    plt.figure(figsize=(7, 7))
    # 標簽名
    labels = dm_name[:5]
    # 構造數據
    data = dm_play[:5]

    # 繪制圖形
    plt.pie(data, labels=labels, autopct='%1.1f%%')
    plt.title('播放量占比')
    plt.savefig('播放量占比.jpg')
    plt.show()

    # 繪制番劇評論數占比餅圖
    plt.figure(figsize=(7, 7))
    labels = dm_name[:5]
    data = dm_review[:5]

    plt.pie(data, labels=labels, autopct='%1.1f%%')
    plt.title('番劇評論數占比')
    plt.savefig('番劇評論數占比.jpg')
    plt.show()

    # 繪制番劇收藏數占比餅圖
    plt.figure(figsize=(7, 7))
    labels = dm_name[:5]
    data = dm_favorite[:5]

    plt.pie(data, labels=labels, autopct='%1.1f%%')
    plt.title('番劇收藏數占比')
    plt.savefig('番劇收藏數占比.jpg')
    plt.show()

    

 

 

 

 

 

 

 

 

 

 

 

 6.數據分析，回歸方程

def rc():
# 分析兩組數據並畫散點圖和建立回歸方程
    # 設置中文字體
    plt.rcParams['font.sans-serif'] = ['SimHei']

    # 嵌套函數
    # 需要擬合的函數func，指定函數的形狀
    def func1(p, x):
        a, b, c = p
        return a * x * x + b * x + c

    # 偏差函數
    def error1(p, x, y):
        return func1(p, x) - y
    df = pd.DataFrame(pd.read_excel('Dongman.xlsx'))
    # 畫樣本圖像
    plt.scatter(df['收藏數(萬)'], df['播放量(萬)'])

    # 設置樣本數據
    X =df['收藏數(萬)'] / 10000
    Y = df['播放量(萬)'] / 10000
    plt.figure(figsize=(8, 6))

    # 設置函數擬合參數
    p0 = [1, 15, 20]

    # 進行最小二乘擬合
    para = leastsq(error1, p0, args=(X, Y))
    a, b, c = para[0]

    # 讀取結果
    print('a=', a, 'b=', b, 'c=', c)
    print("求解的擬合直線為:")
    print("y=" + str(round(a, 2)) + "x*x" + str(round(b, 2)) + "x+" + str(round(c, 2)))

    # 畫擬合曲線
    plt.scatter(X, Y, color='green', label='樣本數據', linewidth=2)
    x = np.linspace(1, 15, 20)
    y = a * x * x + b * x + c
    plt.plot(x, y, color='red', label='擬合曲線', linewidth=2)
    plt.legend()
    plt.title('')
    plt.grid()
    plt.show()

rc()

 

 

 

7.數據持久化

#例如
plt.savefig('番劇收藏數占比.jpg')

 

 

 

 

 

 8.完整代碼

import re
import pandas
import requests
from bs4 import BeautifulSoup
import matplotlib.pyplot as plt
from matplotlib import font_manager


def get_html(url):
    try:
        r = requests.get(url)  # 使用get來獲取網頁數據
        r.raise_for_status()  # 如果返回參數不為200，拋出異常
        r.encoding = r.apparent_encoding  # 獲取網頁編碼方式
        return r.text  # 返回獲取的內容
    except:
        return '錯誤'


def save(html):
    # 解析網頁
    soup = BeautifulSoup(html, 'html.parser')  # 指定Beautiful的解析器為“html.parser”

    # 定義好相關列表准備存儲相關信息
    name = []  # 動漫名字
    bfl = []  # 播放量
    pls = []  # 評論數
    scs = []  # 收藏數

    #  動漫名字存儲
    for tag in soup.find_all('div', class_='info'):
        # print(tag)
        bf = tag.a.string
        name.append(str(bf))
    print(name)

    #  播放量存儲
    for tag in soup.find_all('div', class_='detail'):
        # print(tag)
        bf = tag.find('span', class_='data-box').get_text()
        # 統一單位為‘萬’
        if '億' in bf:
            num = float(re.search(r'\d(.\d)?', bf).group()) * 10000
            # print(num)
            bf = num
        else:
            bf = re.search(r'\d*(\.)?\d', bf).group()
        bfl.append(float(bf))
    print(bfl)
    #  評論數存儲
    for tag in soup.find_all('div', class_='detail'):
        # pl = tag.span.next_sibling.next_sibling
        pl = tag.find('span', class_='data-box').next_sibling.next_sibling.get_text()
        #統一單位
        if '萬' not in pl:
            pl = '%.1f' % (float(pl) / 10000)
            # print(123, pl)
        else:
            pl = re.search(r'\d*(\.)?\d', pl).group()
        pls.append(float(pl))
    print(pls)
    #  收藏數
    for tag in soup.find_all('div', class_='detail'):
        sc = tag.find('span', class_='data-box').get_text()
        sc = re.search(r'\d*(\.)?\d', sc).group()
        scs.append(float(sc))
    print(scs)
    
    
    # 存儲至excel表格中
    info = {'動漫名': name, '播放量(萬)': bfl, '評論數(萬)': pls, '收藏數(萬)': scs}
    dm_file = pandas.DataFrame(info)
    #查找重復值
    print(dm_file.duplicated())
    
    #查找缺少值
    print(dm_file.isnull())
    
    dm_file.to_excel('Dongman.xlsx', sheet_name="動漫數據分析")
    # 將所有列表返回
    return name, bfl, pls, scs, TScore


def view(info):
    my_font = font_manager.FontProperties(fname='./data/simhei.ttf')  # 設置中文字體（圖標中能顯示中文）
    dm_name = info[0]  # 番劇名
    dm_play = info[1]  # 番劇播放量
    dm_review = info[2]  # 番劇評論數
    dm_favorite = info[3]  # 番劇收藏數

    # 為了坐標軸上能顯示中文
    plt.rcParams['font.sans-serif'] = ['SimHei']
    plt.rcParams['axes.unicode_minus'] = False


    # *******收藏數條形圖
    fig, ax1 = plt.subplots()
    plt.bar(dm_name, dm_favorite, color='red')  #設置柱狀圖
    plt.title('綜合評分和播放量數據分析', fontproperties=my_font)  # 表標題
    ax1.tick_params(labelsize=6)
    plt.xlabel('番劇名')  # 橫軸名
    plt.ylabel('收藏數')  # 縱軸名
    plt.xticks(rotation=90, color='green')  # 設置橫坐標變量名旋轉度數和顏色
    plt.show()
        
 

    # 評論數條形圖
    fig, ax3 = plt.subplots()
    plt.bar(dm_name, dm_review, color='green')
    plt.title('番劇評論數和收藏數分析')
    plt.ylabel('評論數（萬）')
    ax3.tick_params(labelsize=6)
    plt.xticks(rotation=90, color='green')
    plt.show()
    

    # 綜合評分條形圖
    fig, ax5 = plt.subplots()
    plt.bar(dm_name, dm_favorite, color='red')
    plt.title('綜合評分和收藏數量數據分析')
    plt.ylabel('綜合評分')
    ax5.tick_params(labelsize=6)
    plt.xticks(rotation=90, color='green')
    plt.show()
    
   
    #播放量條形圖
    fig, ax7 = plt.subplots()
    plt.bar(dm_name, dm_play, color='cyan')
    plt.title('播放量和評論數 數據分析')
    plt.ylabel('播放量（萬）')
    ax7.tick_params(labelsize=6)
    plt.xticks(rotation=90, color='green')
    plt.show()
    
    #繪制播放量占比餅圖
    plt.figure(figsize=(7, 7))
    # 標簽名
    labels = dm_name[:5]
    # 構造數據
    data = dm_play[:5]

    # 繪制圖形
    plt.pie(data, labels=labels, autopct='%1.1f%%')
    plt.title('播放量占比')
    plt.savefig('播放量占比.jpg')
    plt.show()

    # 繪制番劇評論數占比餅圖
    plt.figure(figsize=(7, 7))
    labels = dm_name[:5]
    data = dm_review[:5]

    plt.pie(data, labels=labels, autopct='%1.1f%%')
    plt.title('番劇評論數占比')
    plt.savefig('番劇評論數占比.jpg')
    plt.show()

    # 繪制番劇收藏數占比餅圖
    plt.figure(figsize=(7, 7))
    labels = dm_name[:5]
    data = dm_favorite[:5]

    plt.pie(data, labels=labels, autopct='%1.1f%%')
    plt.title('番劇收藏數占比')
    plt.savefig('番劇收藏數占比.jpg')
    plt.show()

    
def rc():
# 分析兩組數據並畫散點圖和建立回歸方程
    # 設置中文字體
    plt.rcParams['font.sans-serif'] = ['SimHei']

    # 嵌套函數
    # 需要擬合的函數func，指定函數的形狀
    def func1(p, x):
        a, b, c = p
        return a * x * x + b * x + c

    # 偏差函數
    def error1(p, x, y):
        return func1(p, x) - y
    df = pd.DataFrame(pd.read_excel('Dongman.xlsx'))
    # 畫樣本圖像
    plt.scatter(df['收藏數(萬)'], df['播放量(萬)'])

    # 設置樣本數據
    X =df['收藏數(萬)'] / 10000
    Y = df['播放量(萬)'] / 10000
    plt.figure(figsize=(8, 6))

    # 設置函數擬合參數
    p0 = [1, 15, 20]

    # 進行最小二乘擬合
    para = leastsq(error1, p0, args=(X, Y))
    a, b, c = para[0]

    # 讀取結果
    print('a=', a, 'b=', b, 'c=', c)
    print("求解的擬合直線為:")
    print("y=" + str(round(a, 2)) + "x*x" + str(round(b, 2)) + "x+" + str(round(c, 2)))

    # 畫擬合曲線
    plt.scatter(X, Y, color='green', label='樣本數據', linewidth=2)
    x = np.linspace(1, 15, 20)
    y = a * x * x + b * x + c
    plt.plot(x, y, color='red', label='擬合曲線', linewidth=2)
    plt.legend()
    plt.title('')
    plt.grid()
    plt.show()


def main():
    url = 'https://www.bilibili.com/v/popular/rank/bangumi'  # 網址
    html = get_html(url)  # 獲取返回值
    # print(html)
    info = save(html)
    view(info)
    rc()


if __name__ == '__main__':
    main()

(三)、總結與反思

1.總結

　　（1）流行動漫中大部分以日漫為主，國漫極少；

　　　(2)多為異世界，玄幻為題材，紀實較少；

　　（3）評論量與收藏量數據差異很大，導致無法做出合適的擬合分析；

2.課題總結與反思

　　　　通過此次課程設計，使我更加扎實的掌握了python爬蟲方面的知識，在設計過程中雖然遇到了ー些問題，但經過一次又ー次的思考，一遍又一遍的檢查終於找出了原因所在，也暴露出了前期我在這方面的知識欠缺和經驗不足。實踐出真知，通過親自動手制作，使我們掌握的知識不再是紙上談兵，我會繼續加油！