利用网络爬虫技术爬取爱奇艺热播电影榜

一、选题的背景

通过网络爬虫爬取爱奇艺网址上的热播电影榜，了解近几年因疫情影响，人们对于娱乐方式的喜爱变化。后疫情时代短视频平台成为了健康传播的热门途径。以短视频为主的视频平台用户迅猛增长，爱奇艺是国内用户数一数二的视频平台，通过对该平台上热播电影的爬取，可以从侧面反映出疫情时代人们对于娱乐主要方式的态度。

二、主题式网络爬虫设计方案

1.主题式网络爬虫名称：

通过网络爬虫技术爬取爱奇艺热播电影榜单

2.主题式网络爬虫爬取的内容与数据特征分析：

通过爬取该网站热播电影的电影名称，热度数据及排行，然后将三者通过绘图技术表现出来，以分析出人们对于电影的种类娱乐化的规律。

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

先确定爬取网站，用requests请求网站打印出html页面，之后用BeautifulSoup提取数据，将数据保存为csv文件中；之后进行pandas进行数据分析和数据可视化；难点在于怎么将数据进行加工保存下来，由于网站更新导致部分数据不一致

 

三、主题页面的结构特征分析

1.主题页面的结构与特征分析：

发现所有信息都被写在tbody标签下的tr中，每个tr表示一个电影名称，tr下的每个td表示一个具体信息。注意第一个tr中的信息表示格索引头，以此进行爬虫。

 

2.Htmls 页面解析

 

 

3.节点（标签）查找方法与遍历方法

 

 

 

 

 

 通过对网站源代码的分析，得出我们所要分析的标题的标签为class=“tittle”排名的标签为图二所示，以及得分的排名为图一蓝色矩形框所示。接下来我们用网络爬虫对所得到的数据进行分析。

四、网络爬虫程序设计（60 分）

import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用于数据可视化
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression

url='https://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.6241 SLBChan/30'}
r = requests.get(url,  headers=headers,timeout=10)

def getHTMLText(url,timeout = 30):
    try:
        #用requests抓取网页信息
        r = requests.get(url, timeout = 30)       
        #可以让程序产生异常时停止程序
        r.raise_for_status()                      
        #设置编码标准
        r.encoding = r.apparent_encoding          
        return r.text
    except:
        return '产生异常'


html=r.text
soup=BeautifulSoup(html,'html.parser')
print(soup.prettify())

 

 

import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用于数据可视化
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression

point=[]
for div in soup.find_all("div","site-title_score"):
        point.append(div.span.strong.string)
puint

 

 

ulist=[]

for p in soup.find_all("p","site-piclist_info_title"):
        ulist.append(p.a.string)
ulist

 

 

print('{:^5}\t{:^40}\t{:^10}'.format('排名', '标题', '热度'))
num = 171
lst = []
for i in range(num):
    print('{:^5}\t{:^40}\t{:^20}'.format(i+1, ulist[i], point[i]))
    lst.append([i+1,ulist[i],point[i]])
df = pd.DataFrame(lst,columns=['排名','标题','评分'])

 

 

df

 

 

rank = r'rank.xlsx'
df.to_excel(rank)

df=pd.DataFrame(pd.read_excel('rank.xlsx'))
df

 

 

print(rank.duplicated())

 

 

#检查是否有空值
print(rank['评分'].isnull().value_counts())

 

 

print(rank.describe())

 

 

import seaborn as sns
sns.regplot(df.排名,df.评分)

 

 

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei'] #显示中文
plt.rcParams['axes.unicode_minus']=False #显示负数
Type = ['9分以上', '8分~9分', '7分~8分', '6分~7分']
Data = [1, 8, 8, 1]
plt.pie(Data ,labels=Type, autopct='%1.1f%%')
plt.axis('equal')
plt.title('各评分所占的比例')
plt.show()
plt.bar(['6分~7分','7分~8分','8分~9分','9分以上'], 
        [1, 8, 8, 1], 
        label="各评分所占比例")
plt.legend()
plt.show()

 

 

#选择排名和热度两个特征变量，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和拟合曲线

#正常显示中文
plt.rcParams['font.sans-serif']=['SimHei'] 
#显示负数
plt.rcParams['axes.unicode_minus']=False 
colnames=[" ","排名","标题","评分"]

X = df.排名
Y = df.评分
Z = df.排名
def A():
    plt.scatter(X,Y,color="r",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()
def B():
    plt.scatter(X,Y,color="b",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c
def error(p,x,y):
    return func(p,x)-y
def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="black",linewidth=2,)
    plt.title("评分值分布")
    plt.grid()
    plt.show()
print(A())
print(B())
print(main())

 

 

 

 

 

 

 

 

 

 完整代码如下：

#导入相关库
import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用于数据可视化

import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression

#输入网址

url='https://www.iqiyi.com/dianying_new/i_list_paihangbang.html'
#防伪编码

headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.89 Safari/537.36 SLBrowser/7.0.0.6241 SLBChan/30'}

r = requests.get(url,  headers=headers,timeout=10)

def getHTMLText(url,timeout = 30):
    try:

        #用requests抓取网页信息

        r = requests.get(url, timeout = 30) 
      
        #可以让程序产生异常时停止程序

        r.raise_for_status()
                      
        #设置编码标准

        r.encoding = r.apparent_encoding          
        return r.text
    except:
        return '产生异常'

html=r.text
soup=BeautifulSoup(html,'html.parser')

#输出更加友好

print(soup.prettify())

point=[]
for div in soup.find_all("div","site-title_score"):
        point.append(div.span.strong.string)
puint


html=r.text
soup=BeautifulSoup(html,'html.parser')
print(soup.prettify())

ulist=[]

for p in soup.find_all("p","site-piclist_info_title"):
        ulist.append(p.a.string)
ulist


#绘制图表

print('{:^5}\t{:^40}\t{:^10}'.format('排名', '标题', '热度'))
num = 171
lst = []
for i in range(num):

    print('{:^5}\t{:^40}\t{:^20}'.format(i+1, ulist[i], point[i]))
    lst.append([i+1,ulist[i],point[i]])

df = pd.DataFrame(lst,columns=['排名','标题','评分'])


#保存至excel

rank = r'rank.xlsx'
df.to_excel(rank)

df=pd.DataFrame(pd.read_excel('rank.xlsx'))
df

print(rank.duplicated())

#检查是否有空值

print(rank['评分'].isnull().value_counts())
print(rank.describe())

#绘制饼图
#正常显示中文

plt.rcParams['font.sans-serif']=['SimHei'] 
#显示负数
plt.rcParams['axes.unicode_minus']=False 
import seaborn as sns
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
sns.regplot(df.排名,df.评分)

import matplotlib.pyplot as plt

#显示中文

plt.rcParams['font.sans-serif']=['SimHei']

#显示负数

plt.rcParams['axes.unicode_minus']=False 

Type = ['9分以上', '8分~9分', '7分~8分', '6分~7分']
Data = [1, 8, 8, 1]
plt.pie(Data ,labels=Type, autopct='%1.1f%%')
plt.axis('equal')
plt.title('各评分所占的比例')
plt.show()
plt.bar(['6分~7分','7分~8分','8分~9分','9分以上'], 
        [1, 8, 8, 1], 
        label="各评分所占比例")
plt.legend()
plt.show()

#绘制折线图

#正常显示中文

plt.rcParams['font.sans-serif']=['SimHei'] 

#显示负数

plt.rcParams['axes.unicode_minus']=False 
a = df.排名
b = df.评分
plt.plot(a,b, color='r',label='时长')
plt.xlabel("排名")
plt.ylabel("评分")
plt.title('排名与评分')
plt.legend(loc=1)
plt.grid()
plt.show()

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

plt.scatter(df["排名"],df["评分"])
plt.title("排名评分的关系")
plt.grid()
plt.show()

#选择排名和热度两个特征变量，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和拟合曲线

#正常显示中文

plt.rcParams['font.sans-serif']=['SimHei'] 

#显示负数

plt.rcParams['axes.unicode_minus']=False 
colnames=[" ","排名","标题","评分"]

X = df.排名
Y = df.评分
Z = df.排名
def A():
    plt.scatter(X,Y,color="r",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()

def B():
    plt.scatter(X,Y,color="b",linewidth=2)
    plt.title("link",color="blue")
    plt.grid()
    plt.show()

#绘制一元二次

def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c

def error(p,x,y):
    return func(p,x)-y

def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="black",linewidth=2,)
    plt.title("评分值分布")

    #绘制网格

    plt.grid()
    plt.show()

print(A())
print(B())
print(main())

五、总结（10 分）

1.经过对主题数据的分析与可视化，可以得到哪些结论？是否达到预期的目标？

可以直观的看到热播电影的评分情况，人们对于好的 质量高的电影评分给出普遍客观，对于分数较低的电影，一部分原因是因为播放量不占优势，但电影所拍的剧情质量也确实差强人意，通过自己所做的工作，达到了自己的预期目标。

2.在完成此设计过程中，得到哪些收获？以及要改进的建议？

在数据爬取中不断地学习了一些函数的使用以及绘图的方法，使用图表、图形对数据的理解和分析中更加简单清晰，简单回复了以前的一些知识点，设计过程中遇到的困难通过百度和视频学习基本可解决。