爬取愛奇藝電影熱播榜數據分析與可視化處理

一.主題式網絡主題式網絡爬蟲設計方案

1.爬蟲名稱：爬取愛奇藝電影熱播榜

2.爬蟲爬取的內容：爬取愛奇藝電影熱播榜數據。 

3.網絡爬蟲設計方案概述：
實現思路：通過訪問網頁源代碼,使用soup.find_all正則表達爬取數據，對數據進行保存數據，再對數據進行清洗和處理，數據分析與可視化處理。
技術難點：對一些庫的使用還不太了解，爬取的內容需要分析處理。

二、主題頁面的結構特征分析

1.主題頁面的結構與特征分析:通過頁面的結構分析，可以得到各個數據之間的便簽都有關聯的關系，電影名標簽分布在p class="site-piclist_info_title"中，評分標簽分布在span class="score"中，電影描述標簽分布在p class="site-piclist_info_describe"中。

2.Htmls頁面解析

網頁url = 'http://www.iqiyi.com/dianying_new/i_list_paihangbang.html'

三、網絡爬蟲程序設計

1.數據爬取與采集

import requests
from bs4 import BeautifulSoup
import pandas as pd


def get_html(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#偽裝爬蟲
    
    try:
        #發送get請求
        html = requests.get(url,headers = headers)
        #配置編碼
        html.encoding = html.apparent_encoding 
        if html.status_code == 200: 
            print("成功過獲取源代碼")
            
    except Exception as e:
        print("獲取源代碼失敗:%s"% e)
    
    return html.text 


url = 'http://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
html = get_html(url)

#提取HTML並解析想獲取的數據
soup = BeautifulSoup(html, 'html.parser')
    
#爬取電影名
#建立一個電影名列表Film_name
Film_name = []
a = soup.find_all('a', pos = '2')

for name in a:
    Film_name.append(name.text)
    
#爬取評分
#建立一個評分列表Score
Score = []
b = soup.find_all('span', class_ = 'score')

for score in b:
    Score.append(score.text)

#爬取電影描述
#建立一個電影描述列表Describe
Describe = []
c = soup.find_all('p', class_ = 'site-piclist_info_describe')

for describe in c:
    Describe.append(describe.text)
    
#創建一個空列表lt
lt = []
    
#爬取前25組電影數據，保存到列表lt中
print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format('排名', '電影名', '評分', '電影描述'))

for i in range(25):
    #輸出前25組數據
    print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format(i+1, Film_name[i], Score[i], Describe[i]))
    lt.append([i+1, Film_name[i], Score[i], Describe[i]])

    
#創建DateFrame
df = pd.DataFrame(lt,columns = ['排名', '電影名', '評分', '電影描述']) 

#保存文件，數據持久化
df.to_csv('愛奇藝電影熱播榜.csv') 

csv文件保存成功

 

2.對數據進行清洗和處理

#讀取csv文件
df = pd.DataFrame(pd.read_csv('愛奇藝電影熱播榜.csv'))
df

截取前十幾組數據

#刪除無效列與行
df.drop('電影名', axis=1, inplace = True)
df.drop('電影描述', axis=1, inplace = True)
df.head()

#檢查是否有重復值
df.duplicated()

#缺失值處理
df[df.isnull().values==True]#返回無缺失值

#用describe()命令顯示描述性統計指標
df.describe()

 

3.數據分析與可視化

#數據分析與可視化

X = df.drop("電影名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['評分'])
print("回歸系數為:",predict_model.coef_)


#繪制排名與評分的回歸圖
matplotlib.rcParams['font.sans-serif']=['SimHei']#顯示黑體中文
sns.regplot(df.排名,df.評分)

# 繪制柱狀圖
plt.rcParams['axes.unicode_minus']=False #用來正常顯示負號
plt.bar(df.排名, df.評分, label="排名與評分柱狀圖")
plt.xlabel("排名")
plt.ylabel("評分")
plt.title('排名與評分柱狀圖')
plt.show()

#繪制散點圖
def scatter():
    plt.scatter(df.排名, df.評分, color='green', s=25, marker="o")
    plt.xlabel("排名")
    plt.ylabel("評分")
    plt.title("排名與評分散點圖")
    plt.show()
scatter()

#繪制盒圖
def box_diagram():
    plt.title('繪制排名與評分-箱體圖')
    sns.boxplot(x='排名',y='評分', data=df)
box_diagram()

#繪制折線圖
def line_diagram():
    x = df['排名']
    y = df['評分']
    plt.xlabel('排名')
    plt.ylabel('評分')
    plt.plot(x,y)
    plt.scatter(x,y)
    plt.title("排名與評分折線圖")
    plt.show()
line_diagram()

#繪制分布圖
sns.jointplot(x="排名",y='評分',data = df)

sns.jointplot(x="排名",y='評分',data = df, kind='reg')

sns.jointplot(x="排名",y='評分',data = df, kind='hex')

sns.jointplot(x="排名",y='評分',data = df, kind='kde', color='r')

sns.kdeplot(df['排名'], df['評分'])

 

4.根據數據之間的關系，分析兩個變量之間的相關系數，畫出散點圖，並建立變量之間的回歸方程

#繪制一元一次回歸方程
def main():
    colnames = ["排名", "電影名", "評分", "電影描述"]
    df = pd.read_csv('愛奇藝電影熱播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.評分
    r=sts.pearsonr(X,Y) #相關性r
    print('相關性r',r)
    def func(p, x):
        k, b = p
        return k * x + b
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0]
    #使用leastsq（）函數對數據進行擬合
    Para = leastsq(error_func, p0, args = (X, Y))
    k, b = Para[0]
    print("k=",k,"b=",b)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"評分分布",linewidth=2)
    x=np.linspace(0,30,30)
    y=k*x+b
    plt.plot(x,y,color="red",label=u"回歸方程直線",linewidth=2) 
    
    plt.title("電影排名和評分關系圖")
    plt.xlabel('排名')
    plt.ylabel('評分')
    plt.legend() 
    plt.show()
main()

在繪制一元一次回歸方程的基礎上，繪制一元二次回歸方程。

#繪制一元二次回歸方程
def main2():
    colnames = ["排名", "電影名", "評分", "電影描述"]
    df = pd.read_csv('愛奇藝電影熱播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.評分
    r=sts.pearsonr(X,Y) #相關性r
    print('相關性r',r)
    def func(p, x):
        a, b, c = p
        return a * x * x + b * x + c
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0,0]
    #使用leastsq（）函數對數據進行擬合
    Para = leastsq(error_func, p0, args = (X, Y))
    a, b, c = Para[0]
    print("a=", a,"b=", b,"c=", c)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"評分分布",linewidth=2)
    
    x = np.linspace(0,30,30)
    y = a * x * x + b * x + c
    
    plt.plot(x,y,color="red",label=u"一元二次回歸方程直線",linewidth=2) 
    plt.title("電影排名和評分關系圖")
    plt.xlabel('排名')
    plt.ylabel('評分')
    plt.legend() 
    plt.show()
main2()

5.將以上各部分的代碼匯總，附上完整程序代碼

import requests
from bs4 import BeautifulSoup
import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
import seaborn as sns
import matplotlib.pyplot as plt
import matplotlib
from scipy.optimize import leastsq
import scipy.stats as sts

def get_html(url):
    headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362'}#偽裝爬蟲
    
    try:
        #發送get請求
        html = requests.get(url,headers = headers)
        #配置編碼
        html.encoding = html.apparent_encoding 
        if html.status_code == 200: 
            print("成功過獲取源代碼")
            
    except Exception as e:
        print("獲取源代碼失敗:%s"% e)
    
    return html.text 


url = 'http://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
html = get_html(url)

#提取HTML並解析想獲取的數據
soup = BeautifulSoup(html, 'html.parser')
    
#爬取電影名
#建立一個電影名列表Film_name
Film_name = []
a = soup.find_all('a', pos = '2')

for name in a:
    Film_name.append(name.text)
    
#爬取評分
#建立一個評分列表Score
Score = []
b = soup.find_all('span', class_ = 'score')

for score in b:
    Score.append(score.text)

#爬取電影描述
#建立一個電影描述列表Describe
Describe = []
c = soup.find_all('p', class_ = 'site-piclist_info_describe')

for describe in c:
    Describe.append(describe.text)
    
#創建一個空列表lt
lt = []
    
#爬取前25組電影數據，保存到列表lt中
print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format('排名', '電影名', '評分', '電影描述'))

for i in range(25):
    #輸出前25組數據
    print("{:^4}\t{:^5}\t{:^7}\t{:^8}".format(i+1, Film_name[i], Score[i], Describe[i]))
    lt.append([i+1, Film_name[i], Score[i], Describe[i]])

    
#創建DateFrame
df = pd.DataFrame(lt,columns = ['排名', '電影名', '評分', '電影描述']) 

#保存文件，數據持久化
df.to_csv('愛奇藝電影熱播榜.csv') 

#讀取csv文件
df = pd.DataFrame(pd.read_csv('愛奇藝電影熱播榜.csv'))
df


#刪除無效列與行
#df.drop('電影名', axis=1, inplace = True)
df.drop('電影描述', axis=1, inplace = True)
df.head()


#檢查是否有重復值
df.duplicated()


#缺失值處理
df[df.isnull().values==True]#返回無缺失值


#用describe()命令顯示描述性統計指標
df.describe()




#數據分析與可視化

X = df.drop("電影名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['評分'])
print("回歸系數為:",predict_model.coef_)


#繪制排名與評分的回歸圖
matplotlib.rcParams['font.sans-serif']=['SimHei']#顯示黑體中文
sns.regplot(df.排名,df.評分)


# 繪制柱狀圖
plt.rcParams['axes.unicode_minus']=False #用來正常顯示負號
plt.bar(df.排名, df.評分, label="排名與評分柱狀圖")
plt.xlabel("排名")
plt.ylabel("評分")
plt.title('排名與評分柱狀圖')
plt.show()

#繪制散點圖
def scatter():
    plt.scatter(df.排名, df.評分, color='green', s=25, marker="o")
    plt.xlabel("排名")
    plt.ylabel("評分")
    plt.title("排名與評分散點圖")
    plt.show()
scatter()


#繪制盒圖
def box_diagram():
    plt.title('繪制排名與評分-箱體圖')
    sns.boxplot(x='排名',y='評分', data=df)
box_diagram()


#繪制折線圖
def line_diagram():
    x = df['排名']
    y = df['評分']
    plt.xlabel('排名')
    plt.ylabel('評分')
    plt.plot(x,y)
    plt.scatter(x,y)
    plt.title("排名與評分折線圖")
    plt.show()
line_diagram()


#繪制分布圖
sns.jointplot(x="排名",y='評分',data = df)

sns.jointplot(x="排名",y='評分',data = df, kind='reg')

sns.jointplot(x="排名",y='評分',data = df, kind='hex')

sns.jointplot(x="排名",y='評分',data = df, kind='kde', color='r')

sns.kdeplot(df['排名'], df['評分'])


#繪制一元一次回歸方程
def main():
    colnames = ["排名", "電影名", "評分", "電影描述"]
    df = pd.read_csv('愛奇藝電影熱播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.評分
    r=sts.pearsonr(X,Y) #相關性r
    print('相關性r',r)
    def func(p, x):
        k, b = p
        return k * x + b
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0]
    #使用leastsq（）函數對數據進行擬合
    Para = leastsq(error_func, p0, args = (X, Y))
    k, b = Para[0]
    print("k=",k,"b=",b)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"評分分布",linewidth=2)
    x=np.linspace(0,30,30)
    y=k*x+b
    plt.plot(x,y,color="red",label=u"回歸方程直線",linewidth=2) 
    
    plt.title("電影排名和評分關系圖")
    plt.xlabel('排名')
    plt.ylabel('評分')
    plt.legend() 
    plt.show()
main()

#繪制一元二次回歸方程
def main2():
    colnames = ["排名", "電影名", "評分", "電影描述"]
    df = pd.read_csv('愛奇藝電影熱播榜.csv',skiprows=1,names=colnames)
    
    X = df.排名
    Y = df.評分
    r=sts.pearsonr(X,Y) #相關性r
    print('相關性r',r)
    def func(p, x):
        a, b, c = p
        return a * x * x + b * x + c
    
    def error_func(p, x, y):
        return func(p,x)-y
    
    p0 = [0,0,0]
    #使用leastsq（）函數對數據進行擬合
    Para = leastsq(error_func, p0, args = (X, Y))
    a, b, c = Para[0]
    print("a=", a,"b=", b,"c=", c)
    
    plt.figure(figsize=(10,6))
    plt.scatter(X,Y,color="green",label=u"評分分布",linewidth=2)
    
    x = np.linspace(0,30,30)
    y = a * x * x + b * x + c
    
    plt.plot(x,y,color="red",label=u"一元二次回歸方程直線",linewidth=2) 
    plt.title("電影排名和評分關系圖")
    plt.xlabel('排名')
    plt.ylabel('評分')
    plt.legend() 
    plt.show()
main2()

 

四、結論

1.經過對主題數據的分析與可視化，得到結論：通過數據分析與可視化，了解到了電影排名與評分的關系，數據分析可以使內容更客觀的體現出來，可視化體現了數據的變化規律。

2.小結：通過此次任務的完成，我學到了許多庫的使用，這次任務同時提高了我對python的興趣，提升了我的操作能力。