利用網絡爬蟲技術爬取愛奇藝熱播電影榜

一、選題的背景

通過網絡爬蟲爬取愛奇藝網址上的熱播電影榜，了解近幾年因疫情影響，人們對於娛樂方式的喜愛變化。后疫情時代短視頻平台成為了健康傳播的熱門途徑。以短視頻為主的視頻平台用戶迅猛增長，愛奇藝是國內用戶數一數二的視頻平台，通過對該平台上熱播電影的爬取，可以從側面反映出疫情時代人們對於娛樂主要方式的態度。

二、主題式網絡爬蟲設計方案

1.主題式網絡爬蟲名稱：

通過網絡爬蟲技術爬取愛奇藝熱播電影榜單

2.主題式網絡爬蟲爬取的內容與數據特征分析：

通過爬取該網站熱播電影的電影名稱，熱度數據及排行，然后將三者通過繪圖技術表現出來，以分析出人們對於電影的種類娛樂化的規律。

3.主題式網絡爬蟲設計方案概述（包括實現思路與技術難點）

先確定爬取網站，用requests請求網站打印出html頁面，之后用BeautifulSoup提取數據，將數據保存為csv文件中；之后進行pandas進行數據分析和數據可視化；難點在於怎么將數據進行加工保存下來，由於網站更新導致部分數據不一致

 

三、主題頁面的結構特征分析

1.主題頁面的結構與特征分析：

發現所有信息都被寫在tbody標簽下的tr中，每個tr表示一個電影名稱，tr下的每個td表示一個具體信息。注意第一個tr中的信息表示格索引頭，以此進行爬蟲。

 

2.Htmls 頁面解析

 

 

3.節點（標簽）查找方法與遍歷方法

 

 

 

 

 

 通過對網站源代碼的分析，得出我們所要分析的標題的標簽為class=“tittle”排名的標簽為圖二所示，以及得分的排名為圖一藍色矩形框所示。接下來我們用網絡爬蟲對所得到的數據進行分析。

四、網絡爬蟲程序設計（60 分）

import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用於數據可視化
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression

url='https://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.6241 SLBChan/30'}
r = requests.get(url,  headers=headers,timeout=10)

def getHTMLText(url,timeout = 30):
    try:
        #用requests抓取網頁信息
        r = requests.get(url, timeout = 30)       
        #可以讓程序產生異常時停止程序
        r.raise_for_status()                      
        #設置編碼標准
        r.encoding = r.apparent_encoding          
        return r.text
    except:
        return '產生異常'


html=r.text
soup=BeautifulSoup(html,'html.parser')
print(soup.prettify())

 

 

import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用於數據可視化
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression

point=[]
for div in soup.find_all("div","site-title_score"):
        point.append(div.span.strong.string)
puint

 

 

ulist=[]

for p in soup.find_all("p","site-piclist_info_title"):
        ulist.append(p.a.string)
ulist

 

 

print('{:^5}\t{:^40}\t{:^10}'.format('排名', '標題', '熱度'))
num = 171
lst = []
for i in range(num):
    print('{:^5}\t{:^40}\t{:^20}'.format(i+1, ulist[i], point[i]))
    lst.append([i+1,ulist[i],point[i]])
df = pd.DataFrame(lst,columns=['排名','標題','評分'])

 

 

df

 

 

rank = r'rank.xlsx'
df.to_excel(rank)

df=pd.DataFrame(pd.read_excel('rank.xlsx'))
df

 

 

print(rank.duplicated())

 

 

#檢查是否有空值
print(rank['評分'].isnull().value_counts())

 

 

print(rank.describe())

 

 

import seaborn as sns
sns.regplot(df.排名,df.評分)

 

 

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #顯示中文
plt.rcParams['axes.unicode_minus']=False #顯示負數
Type = ['9分以上', '8分~9分', '7分~8分', '6分~7分']
Data = [1, 8, 8, 1]
plt.pie(Data ,labels=Type, autopct='%1.1f%%')
plt.axis('equal')
plt.title('各評分所占的比例')
plt.show()
plt.bar(['6分~7分','7分~8分','8分~9分','9分以上'], 
        [1, 8, 8, 1], 
        label="各評分所占比例")
plt.legend()
plt.show()

 

 

#選擇排名和熱度兩個特征變量，繪制分布圖，用最小二乘法分析兩個變量間的二次擬合方程和擬合曲線

#正常顯示中文
plt.rcParams['font.sans-serif']=['SimHei'] 
#顯示負數
plt.rcParams['axes.unicode_minus']=False 
colnames=[" ","排名","標題","評分"]

X = df.排名
Y = df.評分
Z = df.排名
def A():
    plt.scatter(X,Y,color="r",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()
def B():
    plt.scatter(X,Y,color="b",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c
def error(p,x,y):
    return func(p,x)-y
def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="black",linewidth=2,)
    plt.title("評分值分布")
    plt.grid()
    plt.show()
print(A())
print(B())
print(main())

 

 

 

 

 

 

 

 

 

 完整代碼如下：

#導入相關庫
import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用於數據可視化

import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression

#輸入網址

url='https://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
#防偽編碼

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.6241 SLBChan/30'}

r = requests.get(url,  headers=headers,timeout=10)

def getHTMLText(url,timeout = 30):
    try:

        #用requests抓取網頁信息

        r = requests.get(url, timeout = 30) 
      
        #可以讓程序產生異常時停止程序

        r.raise_for_status()
                      
        #設置編碼標准

        r.encoding = r.apparent_encoding          
        return r.text
    except:
        return '產生異常'

html=r.text
soup=BeautifulSoup(html,'html.parser')

#輸出更加友好

print(soup.prettify())

point=[]
for div in soup.find_all("div","site-title_score"):
        point.append(div.span.strong.string)
puint


html=r.text
soup=BeautifulSoup(html,'html.parser')
print(soup.prettify())

ulist=[]

for p in soup.find_all("p","site-piclist_info_title"):
        ulist.append(p.a.string)
ulist


#繪制圖表

print('{:^5}\t{:^40}\t{:^10}'.format('排名', '標題', '熱度'))
num = 171
lst = []
for i in range(num):

    print('{:^5}\t{:^40}\t{:^20}'.format(i+1, ulist[i], point[i]))
    lst.append([i+1,ulist[i],point[i]])

df = pd.DataFrame(lst,columns=['排名','標題','評分'])


#保存至excel

rank = r'rank.xlsx'
df.to_excel(rank)

df=pd.DataFrame(pd.read_excel('rank.xlsx'))
df

print(rank.duplicated())

#檢查是否有空值

print(rank['評分'].isnull().value_counts())
print(rank.describe())

#繪制餅圖
#正常顯示中文

plt.rcParams['font.sans-serif']=['SimHei'] 
#顯示負數
plt.rcParams['axes.unicode_minus']=False 
import seaborn as sns
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
sns.regplot(df.排名,df.評分)

import matplotlib.pyplot as plt

#顯示中文

plt.rcParams['font.sans-serif']=['SimHei']

#顯示負數

plt.rcParams['axes.unicode_minus']=False 

Type = ['9分以上', '8分~9分', '7分~8分', '6分~7分']
Data = [1, 8, 8, 1]
plt.pie(Data ,labels=Type, autopct='%1.1f%%')
plt.axis('equal')
plt.title('各評分所占的比例')
plt.show()
plt.bar(['6分~7分','7分~8分','8分~9分','9分以上'], 
        [1, 8, 8, 1], 
        label="各評分所占比例")
plt.legend()
plt.show()

#繪制折線圖

#正常顯示中文

plt.rcParams['font.sans-serif']=['SimHei'] 

#顯示負數

plt.rcParams['axes.unicode_minus']=False 
a = df.排名
b = df.評分
plt.plot(a,b, color='r',label='時長')
plt.xlabel("排名")
plt.ylabel("評分")
plt.title('排名與評分')
plt.legend(loc=1)
plt.grid()
plt.show()

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plt.scatter(df["排名"],df["評分"])
plt.title("排名評分的關系")
plt.grid()
plt.show()

#選擇排名和熱度兩個特征變量，繪制分布圖，用最小二乘法分析兩個變量間的二次擬合方程和擬合曲線

#正常顯示中文

plt.rcParams['font.sans-serif']=['SimHei'] 

#顯示負數

plt.rcParams['axes.unicode_minus']=False 
colnames=[" ","排名","標題","評分"]

X = df.排名
Y = df.評分
Z = df.排名
def A():
    plt.scatter(X,Y,color="r",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()

def B():
    plt.scatter(X,Y,color="b",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()

#繪制一元二次

def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c

def error(p,x,y):
    return func(p,x)-y

def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="black",linewidth=2,)
    plt.title("評分值分布")

    #繪制網格

    plt.grid()
    plt.show()

print(A())
print(B())
print(main())

五、總結（10 分）

1.經過對主題數據的分析與可視化，可以得到哪些結論？是否達到預期的目標？

可以直觀的看到熱播電影的評分情況，人們對於好的 質量高的電影評分給出普遍客觀，對於分數較低的電影，一部分原因是因為播放量不占優勢，但電影所拍的劇情質量也確實差強人意，通過自己所做的工作，達到了自己的預期目標。

2.在完成此設計過程中，得到哪些收獲？以及要改進的建議？

在數據爬取中不斷地學習了一些函數的使用以及繪圖的方法，使用圖表、圖形對數據的理解和分析中更加簡單清晰，簡單回復了以前的一些知識點，設計過程中遇到的困難通過百度和視頻學習基本可解決。