爱奇艺排行榜爬取及分析

一、选题背景

       随着社会的发展、人类生活方式的变化，电影给我们的是生活的体验，是对人类生活的一种追溯。电影已经成为现代人类生活当中不可缺少的一部分。电影是人们无聊时的消遣，一部好的电影会使人陶醉其中，发泄我们的情绪，升华情感，让人翱翔在充满艺术与美的空间里。所以我通过爬取爱奇艺排行榜更好的了解当下人们的关注的电影

二、设计方案 

1.主题式网络爬虫名称:

    python网络爬虫之爱奇艺排行榜的爬取及分析

2.主题式网络爬虫爬取的内容与数据特征分析:

    爬取网页电影排名，标题，热度值。

3.方案概述：

访问网页得到状态码200，分析网页源代码，找出所需要的的标签，逐个提取标签保存到相同路径csv文件中，读取改文件，进行数据清洗，数据模型分析，数据可视化处理，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和绘制拟合曲线。

技术难点：做数据分析，即求回归系数，因为标题是文字，无法与数字作比较，需要把标题这一列删除才可。由于不明原因，输出结果经常会显示超出列表范围。

三、主题页面的结构特征分析

1.主题页面的结构与特征分析：标题标签为' div.rvi__tit1 '.热度标签 ' span.rvi__index__num'

url=https://www.iqiyi.com/ranks1/-1/0

2.页面解析

首页

 

 通过查找网页源代码，浏览其中元素，并对其中元素进行解析

 

 

 

 节点（标签）查找方法与遍历方法

 

 

 

 网页爬取

#导入库
import requests
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import csv
import scipy as sp
import seaborn as sns
from sklearn.linear_model import LinearRegression
from bs4 import BeautifulSoup
from pandas import DataFrame
from scipy.optimize import leastsq

#填入要请求的服务器地址
url="https://www.iqiyi.com/ranks1/-1/0"#爱奇艺热播榜影视榜单

#requests抓取网页信息
def getHTMLText(url,timeout=30):
    try:
        r=requests.get(url,timeout=30) #用requests抓取网页信息 
        r.raise_for_status()           #异常捕捉  
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return'产生异常'
    
#html.parser表示用BeautifulSoup库解析网页
html=getHTMLText(url)
soup=BeautifulSoup(html,'html.parser')

print(soup.prettify())
 #按照标准缩进格式的结构输出
 
r=requests.get(url)
#请求网络
r.encoding=r.apparent_encoding
#统一编码
html = r.text
soup = BeautifulSoup(html,'lxml')
#type(soup)
print(soup.prettify())
#基于bs4库HTML的格式输出，让页面更友好的显示

#获取标题
title1=[]
for i in soup.find_all('div',
                       class_='rvi__tit1'):
    title1.append(i.get_text().strip())
title1

#获取热度
b1=[]
for i in soup.find_all('span', 
                       class_='rvi__index__num'):
    b1.append(i.get_text().strip())
b1

#整合获取内容
print('{:^50}'.format('爱奇艺热播榜'))
print('{:^5}\t{:^40}\t{:^10}'.format('排名', '名称', '热度'))
for i in range(25):
    print('{:^5}\t{:^40}\t{:^10}'.format(i+1, title1[i], b1[i]))
lit1=[]
for i in range(25):
    lit1.append([i+1, title1[i], b1[i]])
df1 = pd.DataFrame(lit1,columns=['排名', '名称', '热度'])
df1

 

 

#爱奇艺必看榜影视榜单
url="https://www.iqiyi.com/ranks1/-1/-6"
def getHTMLText(url,timeout=30):
    try:
        r=requests.get(url,timeout=30) #用requests抓取网页信息 
        r.raise_for_status()           #异常捕捉  
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return'产生异常'
html=getHTMLText(url)
soup=BeautifulSoup(html,'html.parser')
print(soup.prettify())
r=requests.get(url)
r.encoding=r.apparent_encoding
html = r.text
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())
title2=[]
for i in soup.find_all('div', class_='rvi__tit1'):
    title2.append(i.get_text().strip())
title2
b2=[]
for i in soup.find_all('span', 
                       class_='rvi__index__num'):
    b2.append(i.get_text().strip())
b2
print('{:^50}'.format('爱奇艺必看榜'))
print('{:^5}\t{:^40}\t{:^10}'.format('排名', '名称', '热度'))
for i in range(25):
    print('{:^5}\t{:^40}\t{:^10}'.format(i+1, title2[i], b2[i]))
lit2=[]
for i in range(25):
    lit2.append([i+1, title2[i], b2[i]])
df2 = pd.DataFrame(lit2,columns=['排名', '名称', '热度'])
df2

 

 

#对获取的数据进行持久化存储
df1= pd.DataFrame(lit1,columns=['排名','名称','热度'])
df1.to_excel('D:/python/python1.xlsx')
df2= pd.DataFrame(lit2,columns=['排名','名称','热度'])
df2.to_excel('D:/python/python2.xlsx')

#读取热播榜excel文件
rank1=pd.DataFrame(pd.read_excel('D:/python/python1.xlsx'))
print(rank1)

 

 

#读取必看榜excel文件
rank2=pd.DataFrame(pd.read_excel('D:/python/python2.xlsx'))
print(rank2)

 

 

#数据清
#1.删除无效列
rank1.drop('名称',axis=1,inplace=True)
print(rank1)
rank2.drop('名称',axis=1,inplace=True)
print(rank2)

 

 

#2.检查是否有重复值
print(rank1.duplicated()) 
print(rank2.duplicated())

 

 

#3.检查是否有空值
print(rank1['热度'].isnull().value_counts())
print(rank2['热度'].isnull().value_counts())

 

 

#4.异常值处理
print(rank1.describe())
print(rank2.describe())

 

 

#数据分析
from sklearn.linear_model import LinearRegression
X = df1.drop("名称",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df1['热度'])
print("回归系数为:",predict_model.coef_)
X = df2.drop("名称",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df2['热度'])
print("回归系数为:",predict_model.coef_)

 

 

 

 

#绘制排名与热度的回归图
import seaborn as sns
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
sns.regplot(rank1.排名,rank1.热度,label="热播榜")
sns.regplot(rank2.排名,rank2.热度,label="必看榜")

 

 

#画出散点图
# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']  
 # 用来正常显示负号
plt.rcParams['axes.unicode_minus'] = False 
N=10
x=np.random.rand(N)
y=np.random.rand(N)
size=50
plt.xlabel("排名")
plt.ylabel("热度")
plt.scatter(x,y,size,color='r',alpha=0.5,marker="o")

 

 

#散点图  kind='reg'
sns.jointplot(x="排名",y="热度",
              data=rank1,kind='reg',color='g')
sns.jointplot(x="排名",y="热度",
              data=rank2,kind='reg',color='r')

 

 

 

#  kind='hex'
sns.jointplot(x="排名",y="热度",
              data=rank1,kind='hex',color='g')
sns.jointplot(x="排名",y="热度",
              data=rank2,kind='hex',color='r')

 

 

 

# kind='kde'
sns.jointplot(x="排名",y="热度",
              data=rank1,kind="kde",space=0,color='g')
sns.jointplot(x="排名",y="热度",
              data=rank2,kind="kde",space=0,color='r')

 

 

 

 

#选择排名和最高热度两个特征变量，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和拟合曲线
colnames=[" ","排名","名称","最高热度"]
df1 = pd.read_excel('D:/python/python1.xlsx',skiprows=1,names=colnames)
df2 = pd.read_excel('D:/python/python2.xlsx',skiprows=1,names=colnames)

X1 = df1.排名
Y1 = df1.最高热度
Z1 = df1.名称

X2 = df2.排名
Y2 = df2.最高热度
Z2 = df2.名称
#最高热度与排名关系图
matplotlib.rcParams['font.sans-serif']=['SimHei']
plt.plot(X1,Y1,color="g", linewidth=2,label="热播榜")
plt.plot(X2,Y2,color="r", linewidth=2,label="必看榜")
plt.legend(loc=1)
plt.xlabel("排名")
plt.ylabel("热度")
plt.title('热度与排名关系图')
plt.show()

 

 

#最高热度与排名柱状关系图
plt.bar(X2,Y2,color="r", linewidth=2,label="必看榜")
plt.bar(X1,Y1,color="g", linewidth=2,label="热播榜")
plt.legend(loc=1)
plt.xlabel("排名")
plt.ylabel("热度")
plt.title('热度与排名柱状关系图')
plt.show()

 

 

#画出散点图
def A():
    plt.scatter(X1,Y1,color="g"
                ,linewidth=2,label='必看榜')
    plt.scatter(X2,Y2,color="r"
                ,linewidth=2,label='热播榜')
    plt.legend(loc=1)
    plt.title("散点图",color="blue")
    plt.grid()
    plt.xlabel("排名")
    plt.ylabel("最高热度")
    plt.show()
      
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c

def error(p,x,y):
    return func(p,x)-y

print(A())

 

 

def main1():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X1,Y1))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X1,Y1,color="g",
                linewidth=2,label='必看榜热度值分布')
    plt.legend(loc=1)
    x1=np.linspace(0,20,20)
    y1=a*x1*x1+b*x1+c
    plt.plot(x1,y1,color="red",
             linewidth=2,label="必看榜拟合曲线")
    plt.legend(loc=1)
    plt.title("必看榜一元二次方程关系图")
    plt.xlabel("排名")
    plt.ylabel("热度")
    plt.grid()
    plt.show()
    
print(main1())

 

 

def main2():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X2,Y2))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X2,Y2,color="blue",
                linewidth=2,label='热播榜热度值分布')
    plt.legend(loc=1)
    x2=np.linspace(0,20,20)
    y2=a*x2*x2+b*x2+c
    plt.plot(x2,y2,color="red",
             linewidth=2,label="热播榜拟合曲线")
    plt.legend(loc=1)
    plt.title("热播榜一元二次方程关系图")
    plt.xlabel("排名")
    plt.ylabel("热度")
    plt.grid()
    plt.show()
print(main2())

 

 四、全部代码

#导入库
import requests
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import csv
import scipy as sp
import seaborn as sns
from sklearn.linear_model import LinearRegression
from bs4 import BeautifulSoup
from pandas import DataFrame
from scipy.optimize import leastsq

#填入要请求的服务器地址
url="https://www.iqiyi.com/ranks1/-1/0"#爱奇艺影视榜单

#requests抓取网页信息
def getHTMLText(url,timeout=30):
    try:
        r=requests.get(url,timeout=30) #用requests抓取网页信息 
        r.raise_for_status()           #异常捕捉  
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return'产生异常'
    
#html.parser表示用BeautifulSoup库解析网页
html=getHTMLText(url)
soup=BeautifulSoup(html,'html.parser')

print(soup.prettify())
 #按照标准缩进格式的结构输出
r=requests.get(url)
#请求网络
r.encoding=r.apparent_encoding
#统一编码
html = r.text
soup = BeautifulSoup(html,'lxml')
#type(soup)
print(soup.prettify())
#基于bs4库HTML的格式输出，让页面更友好的显示
#获取标题
title1=[]
for i in soup.find_all('div',
                       class_='rvi__tit1'):
    title1.append(i.get_text().strip())
#获取热度
b1=[]
for i in soup.find_all('span', 
                       class_='rvi__index__num'):
    b1.append(i.get_text().strip())
#整合获取内容
print('{:^50}'.format('爱奇艺热播榜'))
print('{:^5}\t{:^40}\t{:^10}'.format('排名', '名称', '热度'))
for i in range(25):
    print('{:^5}\t{:^40}\t{:^10}'.format(i+1, title1[i], b1[i]))
lit1=[]
for i in range(25):
    lit1.append([i+1, title1[i], b1[i]])
df1 = pd.DataFrame(lit1,columns=['排名', '名称', '热度'])
#爱奇艺热播榜影视榜单
url="https://www.iqiyi.com/ranks1/-1/-6"
def getHTMLText(url,timeout=30):
    try:
        r=requests.get(url,timeout=30) #用requests抓取网页信息 
        r.raise_for_status()           #异常捕捉  
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return'产生异常'
html=getHTMLText(url)
soup=BeautifulSoup(html,'html.parser')
print(soup.prettify())
r=requests.get(url)
r.encoding=r.apparent_encoding
html = r.text
soup = BeautifulSoup(html,'lxml')
print(soup.prettify())
title2=[]
for i in soup.find_all('div', class_='rvi__tit1'):
    title2.append(i.get_text().strip())
b2=[]
for i in soup.find_all('span', 
                       class_='rvi__index__num'):
    b2.append(i.get_text().strip())
print('{:^50}'.format('爱奇艺必看榜'))
print('{:^5}\t{:^40}\t{:^10}'.format('排名', '名称', '热度'))
for i in range(25):
    print('{:^5}\t{:^40}\t{:^10}'.format(i+1, title2[i], b2[i]))
lit2=[]
for i in range(25):
    lit2.append([i+1, title2[i], b2[i]])
df2 = pd.DataFrame(lit2,columns=['排名', '名称', '热度'])
#对获取的数据进行持久化存储
df1= pd.DataFrame(lit1,columns=['排名','名称','热度'])
df1.to_excel('D:/python/python1.xlsx')
df2= pd.DataFrame(lit2,columns=['排名','名称','热度'])
df2.to_excel('D:/python/python2.xlsx')
#读取必看榜excel文件
rank1=pd.DataFrame(pd.read_excel('D:/python/python1.xlsx'))
#读取热播榜excel文件
rank2=pd.DataFrame(pd.read_excel('D:/python/python2.xlsx'))
#数据清
#1.删除无效列
rank1.drop('名称',axis=1,inplace=True)
rank2.drop('名称',axis=1,inplace=True)
#2.检查是否有重复值
print(rank1.duplicated()) 
print(rank2.duplicated())
#3.检查是否有空值
print(rank1['热度'].isnull().value_counts())
print(rank2['热度'].isnull().value_counts())
#4.异常值处理
print(rank1.describe())
print(rank2.describe())
#数据分析
from sklearn.linear_model import LinearRegression
X = df1.drop("名称",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df1['热度'])
print("回归系数为:",predict_model.coef_)
X = df2.drop("名称",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df2['热度'])
print("回归系数为:",predict_model.coef_)
#绘制排名与热度的回归图
import seaborn as sns
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
sns.regplot(rank1.排名,rank1.热度,label="热播榜")
sns.regplot(rank2.排名,rank2.热度,label="必看榜")
plt.legend(loc=1)
#画出散点图
# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei']  
 # 用来正常显示负号
plt.rcParams['axes.unicode_minus'] = False 
N=10
x=np.random.rand(N)
y=np.random.rand(N)
size=50
plt.xlabel("排名")
plt.ylabel("热度")
plt.scatter(x,y,size,color='r',alpha=0.5,marker="o")
#散点图  kind='reg'
sns.jointplot(x="排名",y="热度",
              data=rank1,kind='reg',color='g')
sns.jointplot(x="排名",y="热度",
              data=rank2,kind='reg',color='r')
#  kind='hex'
sns.jointplot(x="排名",y="热度",
              data=rank1,kind='hex',color='g')
sns.jointplot(x="排名",y="热度",
              data=rank2,kind='hex',color='r')
# kind='kde'
sns.jointplot(x="排名",y="热度",
              data=rank1,kind="kde",space=0,color='g')
sns.jointplot(x="排名",y="热度",
              data=rank2,kind="kde",space=0,color='r')
#选择排名和最高热度两个特征变量，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和拟合曲线
colnames=[" ","排名","名称","最高热度"]
df1 = pd.read_excel('D:/python/python1.xlsx',skiprows=1,names=colnames)
df2 = pd.read_excel('D:/python/python2.xlsx',skiprows=1,names=colnames)

X1 = df1.排名
Y1 = df1.最高热度
Z1 = df1.名称

X2 = df2.排名
Y2 = df2.最高热度
Z2 = df2.名称
#最高热度与排名关系图
matplotlib.rcParams['font.sans-serif']=['SimHei']
plt.plot(X1,Y1,color="g", linewidth=2,label="热播榜")
plt.plot(X2,Y2,color="r", linewidth=2,label="必看榜")
plt.legend(loc=1)
plt.xlabel("排名")
plt.ylabel("热度")
plt.title('热度与排名关系图')
plt.show()
#最高热度与排名柱状关系图
plt.bar(X2,Y2,color="r", linewidth=2,label="必看榜")
plt.bar(X1,Y1,color="g", linewidth=2,label="热播榜")
plt.legend(loc=1)
plt.xlabel("排名")
plt.ylabel("热度")
plt.title('热度与排名柱状关系图')
plt.show()
#画出散点图
def A():
    plt.scatter(X1,Y1,color="g"
                ,linewidth=2,label='必看榜')
    plt.scatter(X2,Y2,color="r"
                ,linewidth=2,label='热播榜')
    plt.legend(loc=1)
    plt.title("散点图",color="blue")
    plt.grid()
    plt.xlabel("排名")
    plt.ylabel("最高热度")
    plt.show()
      
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c

def error(p,x,y):
    return func(p,x)-y

print(A())
def main1():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X1,Y1))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X1,Y1,color="g",
                linewidth=2,label='必看榜热度值分布')
    plt.legend(loc=1)
    x1=np.linspace(0,20,20)
    y1=a*x1*x1+b*x1+c
    plt.plot(x1,y1,color="red",
             linewidth=2,label="必看榜拟合曲线")
    plt.legend(loc=1)
    plt.title("必看榜一元二次方程关系图")
    plt.xlabel("排名")
    plt.ylabel("热度")
    plt.grid()
    plt.show() 
print(main1())

def main2():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X2,Y2))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X2,Y2,color="blue",
                linewidth=2,label='热播榜热度值分布')
    plt.legend(loc=1)
    x2=np.linspace(0,20,20)
    y2=a*x2*x2+b*x2+c
    plt.plot(x2,y2,color="red",
             linewidth=2,label="热播榜拟合曲线")
    plt.legend(loc=1)
    plt.title("热播榜一元二次方程关系图")
    plt.xlabel("排名")
    plt.ylabel("热度")
    plt.grid()
    plt.show()
    print(main2())

五、总结

1.经过对数据的分析和可视化，从回归方程和拟合曲线可以看出散点大部分都落在曲线上，说明热度是随着排名的递减而递减的。又从散点图可以看出热播榜的热度大部分停留在4-8千之间，必看榜的热度大部分停留在9-1万之间。必看榜的热度明显高于热播榜的热度。

 2.在这次对爱奇艺排行榜的分析的过程中，我从中学会了不少函数及用法。很多次都卡在一个点上，绞尽脑汁去想解决问题的办法，通过观看b站的视频，百度搜索等方法去找寻答案。这两个星期来也养成了耐心和独立思考的习惯，并且提高了我对Python的兴趣。