爬取嗶哩嗶哩番劇排行榜

一.主題式網絡主題式網絡爬蟲設計方案

1.爬蟲名稱：爬取嗶哩嗶哩番劇排行榜

2.爬取內容：爬取番劇名稱、播放量、評論數、喜歡人數、綜合得分。爬取網站："https://www.bilibili.com/ranking/bangumi/13/0/3"

3.網絡爬蟲設計方案概述：

思路：通過分析網頁源代碼，找出數據所在的標簽，通過爬蟲讀取數據保存到csv文件中，讀取文件，對數據進行清洗和處理，數據分析與可視化處理。

技術難點：信息處理知識掌握不夠全面以及在同一標簽下信息的分離

通過命名將混合在一起的三個數據分散開

在將文件進行以csv形式保存並清洗數據

二、主題頁面的結構特征分析

打開F12進行尋找我們需要的信息，發現要爬取數據都分布在標簽div  class “info”里面。播放量、評論數、喜歡人數都在span class "data-box"里面，綜合得分在div class "pts"里面

1.主題頁面的結構和特征分析：

2.Htmls頁面解析

3.節點（標簽）查找方法與遍歷方法

三、網絡爬蟲程序設計

全部代碼

import numpy as np
import matplotlib.pyplot as plt
import matplotlib as mpl
from scipy.optimize import leastsq 
import requests
from bs4 import BeautifulSoup
import pandas as pd
import csv
import jieba
import wordcloud
import requests
from bs4 import BeautifulSoup
import pandas as pd


url="https://www.bilibili.com/ranking/bangumi/13/0/3"#嗶哩嗶哩番劇排行榜
#偽裝爬蟲
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)Chrome/69.0.3497.100 Safari/537.36'}

#請求網站
r=requests.get(url)

r.encoding=r.apparent_encoding

#獲取源代碼
x=r.text

#構造Soup的對象
soup=BeautifulSoup(x,'lxml')

#進行信息的分離
a=[]
b=[]
s=[]
d=[]
e=[]

one=soup.find_all(class_="title")

for i in range(20):
    a.append(one[i].text)  


two=soup.find_all(class_="data-box")

for i in range(0,60,3):
    b.append(two[i].text)
for i in range(1,60,3):
    s.append(two[i].text)
for i in range(2,60,3):
    d.append(two[i].text)

three=soup.find_all(class_="pts")
for i in range(20):
    e.append(three[i].text)
    
lt=[]
for i in range(20):
    lt.append([a[i],b[i],s[i],d[i],e[i]])

h=pd.DataFrame(lt,columns=["番劇名稱","播放量","評論數","喜歡人數","綜合得分"])

#print(h)

#保存文件，數據持久化
h.to_csv('嗶哩嗶哩番劇排行榜.csv') 

df = pd.DataFrame(pd.read_csv('嗶哩嗶哩番劇排行榜.csv'))

#print(df)
df.head()

df.drop('評論數',axis=1,inplace=True)

df.drop('番劇名稱',axis=1,inplace=True)

df.drop('綜合得分',axis=1,inplace=True)

df.head()

#檢查是否有重復值
df.duplicated()

#缺失值處理
df[df.isnull().values==True]#返回無缺失值

#用describe()命令顯示描述性統計指標
df.describe()

plt.rcParams['axes.unicode_minus']=False #用來正常顯示負號

plt.bar(df.播放量, df.喜歡人數, label="柱狀圖")

plt.xlabel("播放量")

plt.ylabel("喜歡人數")
plt.title('播放量與喜歡人數柱狀圖')
plt.show()



#繪制散點圖
def scatter():
    plt.scatter(df.喜歡人數, df.播放量, color='green', s=25, marker="o")
    plt.xlabel("喜歡人數")
    plt.ylabel("播放量")
    plt.title("排名與評分散點圖")
    plt.show()
scatter()


#繪制折線圖
def line_diagram():
    x = df['播放量']
    y = df['喜歡人數']
    plt.xlabel('播放量')
    plt.ylabel('喜歡人數')
    plt.plot(x,y)
    plt.scatter(x,y)
    plt.title("播放量與喜歡人數折線圖")
    plt.show()
line_diagram()

#繪制箱體圖
import pandas as pd

from matplotlib import  pyplot as plt

import seaborn as sns

plt.rcParams['font.sans-serif']=['STSong']

file_path = "嗶哩嗶哩番劇排行榜.csv"

df = pd.DataFrame(pd.read_csv(file_path,names=["番劇名稱","播放量","評論數","喜歡人數","綜合得分"]))

plt.figure(figsize=(10, 8))

plt.title('播放量與喜歡人數箱體圖')

sns.boxplot(x='q播放量',y='喜歡人數', data=df)


#繪制一元一次回歸方程

def main():
    colnames = ["番劇名稱","播放量","評論數","喜歡人數","綜合得分"]
    df = pd.read_csv('嗶哩嗶哩番劇排行榜.csv',skiprows=1,names=colnames)
    X = df.播放量
    Y = df.喜歡人數
    
    def func(p, x):
        k, b = p
        return k * x + b
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0]
    #使用leastsq（）函數對數據進行擬合
    Para = leastsq(error_func, p0, args = (X, Y))
    k, b = Para[0]
    print("k=",k,"b=",b)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"評分分布",linewidth=2)
    x=np.linspace(0,30,30)
    y=k*x+b
    plt.plot(x,y,color="red",label=u"回歸方程直線",linewidth=2) 
    
    plt.title("播放量與喜歡人數關系圖")
    plt.xlabel('播放量')
    plt.ylabel('喜歡人數')
    plt.legend() 
    plt.show()

    
main()


#繪制一元二次回歸方程
def main2():
    colnames = ["番劇名稱","播放量","評論數","喜歡人數","綜合得分"]
    df = pd.read_csv('嗶哩嗶哩番劇排行榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.評分
    r=sts.pearsonr(X,Y) #相關性r
    print('相關性r',r)
    def func(p, x):
        a, b, c = p
        return a * x * x + b * x + c
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0,0]
   
    #使用leastsq（）函數對數據進行擬合
    Para = leastsq(error_func, p0, args = (X, Y))
    a, b, c = Para[0]
    print("a=", a,"b=", b,"c=", c)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"評分分布",linewidth=2)
    
    x = np.linspace(0,30,30)
    y = a * x * x + b * x + c
    
    plt.plot(x,y,color="red",label=u"一元二次回歸方程直線",linewidth=2) 
    plt.title("播放量和喜歡人數關系圖")
    plt.xlabel('播放量')
    plt.ylabel('喜歡人數')
    plt.legend() 
    plt.show()

    
main2()