爱奇艺影片热榜的爬取及其数据分析

一、主题式网络爬虫设计方案

1，主题式网络爬虫名称：

爬取爱奇艺影片热榜

2，主题式网络爬虫爬取的内容与数据特征分析：

爬取内容为：影片名称，排名，与其点击量

数据特征分析：将其储存于csv或xlsx文件中

3.主题式网络爬虫设计方案概述（包括实现思路与技术难点）

实现思路：首先进行对网页源代码的访问分析，用BeautifulSoup进行HTML的解析和信息的爬取，后续对爬取下来的信息用pandas进行绘图数据分析

技术难点：爬取信息时对标签的查找，写出查找所需标签的代码，对数据进行相应的分析

二、主题页面的结构特征分析

打开网址http://v.iqiyi.com/index/dianying/index.html，F12或右键点击检查

 

 

 

 

 源代码中可以看到，影片标题的名称在div标签下的a，title-link标签中，点击数在标签div，qy-top-title-zhishu中

用for语句及find_all语句进行遍历和爬取

三、网络爬虫程序设计

#导入所需要的BeautifulSoup和pandas
import requests import pandas as pd
from bs4 import BeautifulSoup #待爬取的网址
url = "http://v.iqiyi.com/index/dianying/index.html"
#模拟浏览器
header={"User-Agent": "kaidie"} #发送请求
r = requests.get(url,headers=header) #创建标题的空列表
titlelist=[] #创建点击数的空列表
mathlist=[] #为储存数据创立空列表
alist=[] #用BeautifulSoup进行html的解析
html = r.text
soup=BeautifulSoup(html,'html.parser') #找到所对应的标签 #用for遍历循环find_all查找语句查找标题
for a in soup.find_all("a","title-link"): titlelist.append(a.string) #同理找视频的点击数
for div in soup.find_all("div","qy-top-title-zhishu"): mathlist.append(div.string)
 print("-------------------------爱奇艺影片榜前25-------------------------") print("{:^10}\t{:^30}\t{:^20}".format("排名","电影名","点击数")) #获取爱奇艺影片榜前25名
for i in range(25): print("{:^10}\t{:^30}\t{:^20}".format(i+1,titlelist[i],mathlist[i])) #将获取的数据放入alist的空列表中
for i in range(25): alist.append([i+1,titlelist[i],mathlist[i]]) #用pandas对数据进行储存，做到数据的持久化
A = pd.DataFrame(alist,columns = ['排名','电影名','点击数']) A.to_excel('爱奇艺排行.xlsx')

 

 

 

 2.对数据进行清洗和处理

#读取文件中的信息
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
#打印出所有的信息
df.head(25)

 

#根据具体的需求可以清除不需要的数据
df.drop("点击数", axis=1,inplace=True)
df.head(10)

 

 

#重复值的处理
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
df.duplicated()

 

 

#异常值的观察
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
df.describe()

 

 

#查看相关系数
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
df.corr()

3.文本分析

#首先导入做词云所需要的
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from imageio import imread

#读取爱奇艺排行.xlsx将其中的电影名写到txt文本中去
Name = pd.read_excel("爱奇艺排行.xlsx", encoding='utf-8')
with open("电影名.txt",'a+', encoding='utf-8') as f:
    for title in Name.电影名:
        f.write((str(title)+'\n'))

#读取电影名.txt文本        
text=open('电影名.txt',encoding='utf-8').read()
#词云的背景图片
photo=imread('手牵手.jpg')
Cyun=WordCloud(
    background_color = "white",
    mask = photo,
    width=1600,
    repeat=True,
    font_path=r'simfang.ttf',
    height=1600).generate(text)
plt.imshow(Cyun)
plt.axis("off")
plt.show()
#保存词云图片
Cyun.to_file("爱奇艺词云.jpg") 

生成的词云如下

4.数据分析与可视化 

#根据画图的需求导入相应的库
from matplotlib import pyplot as plt
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import seaborn as sns

#定义一个散点图的函数
#排名与点击数的散点图
def Sspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
#赋予x，y所对应的值
    x = df.排名
    y = df.点击数
    plt.xlabel("排名")
    plt.ylabel("点击数")
    plt.scatter(x,y,color="green",label="散点")
    plt.title("排名与点击数的散点图")
    plt.legend()
    plt.show()
Sspot()

#绘制扇形图
def Pspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.电影名
    y = df.点击数
    #前五名的电影标题
    name = [x[0],x[1],x[2],x[3],x[4]]
    math = [y[0],y[1],y[2],y[3],y[4]]
    explode=[0.1,0.1,0.1,0.1,0.1]
    plt.pie(math,labels=name,colors=["r","g","c","b","y"],explode=explode)
    plt.axis("equal")
    plt.title("点击数与电影的扇形图")
    plt.show()
Pspot()

 

 

 

 

#排名与点击数的条形图
def Tspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.排名
    y = df.点击数
    plt.xlabel("排名")
    plt.ylabel("点击数")
    plt.bar(x,y,color="green")
    plt.title("排名与点击数的条形图")
    plt.show()
Tspot()

 

 

#前五名的电影与点击数的条形图
def Tspot2():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.电影名[:5]
    y = df.点击数[:5]
    plt.xlabel("电影名")
    plt.ylabel("点击数")
    plt.bar(x,y,color="green")
    plt.title("电影名与点击数的条形图")
    plt.show()
Tspot2()

 

 

#排名与点击数的折线图
def Zspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.排名
    y = df.点击数
    plt.xlabel("排名")
    plt.ylabel("点击数")
    plt.plot(x,y,color="green",label="折线")
    plt.title("排名与点击数的折线图")
    plt.legend()
    plt.show()
Zspot()

 

 

#回归直线的图
def huigui():
    #x，y为回归直线的排名和点击数
    x = df.排名
    y = df.点击数
    #X，Y为散点图的
    X = df.排名
    Y = df.点击数
    #先定义所需要的数据
    x_i2=0
    x_i =0
    y_i=0
    #计算出x，y的均值用mean()
    q = x.mean()
    w = y.mean()
    for i in range(25):
        x_i2 = x_i+x[i]*x[i]
        x_i = x_i+x[i]
        y_i = y_i+y[i]
    #运用回归直线的公式计算出所需要的值
    #分子
    m_1 = x_i*y_i-25*q*w
    #分母
    m_2 = x_i2-25*q*q
    #斜率
    k = m_1/m_2
    #截距
    b = w-q*k
    x=np.linspace(0,25)
    y=k*x+b
    print("斜率k=",k,"截距b=",b)
    plt.figure(figsize=(6,4))
    plt.xlabel('排名')
    plt.ylabel('点击数')
    plt.scatter(X,Y,color="green",label="散点",linewidth=2)
    plt.plot(x, y,color="blue",label= "回归直线")
    plt.title("回归直线图")
    plt.legend() 
    plt.show()
huigui()

 

 

#排名和点击数的线性关系
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
sns.lmplot(x="排名",y= "点击数",data=df)

 

5.完整程序代码

#导入所需要的BeautifulSoup和pandas
import requests
import pandas as pd
from bs4 import BeautifulSoup
#根据画图的需求导入相应的库
from matplotlib import pyplot as plt
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import seaborn as sns
#导入做词云所需要的
from wordcloud import WordCloud
import matplotlib.pyplot as plt
from imageio import imread

#待爬取的网址
url = "http://v.iqiyi.com/index/dianying/index.html"
#模拟浏览器
header={"User-Agent": "kaidie"}
#发送请求
r = requests.get(url,headers=header)
#创建标题的空列表
titlelist=[]
#创建点击数的空列表
mathlist=[]
#为储存数据创立空列表
alist=[]

#用BeautifulSoup进行html的解析
html = r.text
soup=BeautifulSoup(html,'html.parser')
#找到所对应的标签
#用for遍历循环find_all查找语句查找标题
for a in soup.find_all("a","title-link"):
    titlelist.append(a.string)
    
#同理找视频的点击数
for div in soup.find_all("div","qy-top-title-zhishu"):
    mathlist.append(div.string)

print("-------------------------爱奇艺影评榜前25-------------------------")
print("{:^10}\t{:^30}\t{:^20}".format("排名","电影名","点击数"))

#获取爱奇艺影评榜前25名
for i in range(25):
    print("{:^10}\t{:^30}\t{:^20}".format(i+1,titlelist[i],mathlist[i]))
    
#将获取的数据放入alist的空列表中
for i in range(25):
    alist.append([i+1,titlelist[i],mathlist[i]])
    
#用pandas对数据进行储存，做到数据的持久化
A = pd.DataFrame(alist,columns = ['排名','电影名','点击数'])
A.to_excel('爱奇艺排行.xlsx')

#读取文件中的信息
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
#打印出所有的信息
df.head(25)

#根据具体的需求可以清除不需要的数据
df.drop("点击数", axis=1,inplace=True)
df.head(10)

#重复值的处理
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
df.duplicated()

#异常值的观察
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
df.describe()

#查看相关系数
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
df.corr()

#排名和点击数的线性关系
df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
sns.lmplot(x="排名",y= "点击数",data=df)

#读取爱奇艺排行.xlsx将其中的电影名写到txt文本中去
Name = pd.read_excel("爱奇艺排行.xlsx", encoding='utf-8')
with open("电影名.txt",'a+', encoding='utf-8') as f:
    for title in Name.电影名:
        f.write((str(title)+'\n'))

#读取电影名.txt文本        
text=open('电影名.txt',encoding='utf-8').read()
#词云的背景图片
photo=imread('手牵手.jpg')
Cyun=WordCloud(
    background_color = "white",
    mask = photo,
    width=1600,
    repeat=True,
    font_path=r'simfang.ttf',
    height=1600).generate(text)
plt.imshow(Cyun)
plt.axis("off")
plt.show()
#保存词云图片
Cyun.to_file("爱奇艺词云.jpg")        

#定义一个散点图的函数
#排名与点击数的散点图
def Sspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
#赋予x，y所对应的值
    x = df.排名
    y = df.点击数
    plt.xlabel("排名")
    plt.ylabel("点击数")
    plt.scatter(x,y,color="green",label="散点")
    plt.title("排名与点击数的散点图")
    plt.legend()
    plt.show()
Sspot()

#绘制扇形图
def Pspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.电影名
    y = df.点击数
    #前五名的电影标题
    name = [x[0],x[1],x[2],x[3],x[4]]
    math = [y[0],y[1],y[2],y[3],y[4]]
    explode=[0.1,0.1,0.1,0.1,0.1]
    plt.pie(math,labels=name,colors=["r","g","c","b","y"],explode=explode)
    plt.axis("equal")
    plt.title("排名与电影的扇形图")
    plt.show()
Pspot()

#排名与点击数的条形图
def Tspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.排名
    y = df.点击数
    plt.xlabel("排名")
    plt.ylabel("点击数")
    plt.bar(x,y,color="green")
    plt.title("排名与点击数的条形图")
    plt.show()
Tspot()

#前五名的电影与点击数的条形图
def Tspot2():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.电影名[:5]
    y = df.点击数[:5]
    plt.xlabel("电影名")
    plt.ylabel("点击数")
    plt.bar(x,y,color="green")
    plt.title("电影名与点击数的条形图")
    plt.show()
Tspot2()

#排名与点击数的折线图
def Zspot():
    df = pd.DataFrame(pd.read_excel('爱奇艺排行.xlsx'))
    x = df.排名
    y = df.点击数
    plt.xlabel("排名")
    plt.ylabel("点击数")
    plt.plot(x,y,color="green",label="折线")
    plt.title("排名与点击数的折线图")
    plt.legend()
    plt.show()
Zspot()

#回归直线的图
def huigui():
    #x，y为回归直线的排名和点击数
    x = df.排名
    y = df.点击数
    #X，Y为散点图的
    X = df.排名
    Y = df.点击数
    #先定义所需要的数据
    x_i2=0
    x_i =0
    y_i=0
    #计算出x，y的均值用mean()
    q = x.mean()
    w = y.mean()
    for i in range(25):
        x_i2 = x_i+x[i]*x[i]
        x_i = x_i+x[i]
        y_i = y_i+y[i]
    #运用回归直线的公式计算出所需要的值
    #分子
    m_1 = x_i*y_i-25*q*w
    #分母
    m_2 = x_i2-25*q*q
    #斜率
    k = m_1/m_2
    #截距
    b = w-q*k
    x=np.linspace(0,25)
    y=k*x+b
    print("斜率k=",k,"截距b=",b)
    plt.figure(figsize=(6,4))
    plt.xlabel('排名')
    plt.ylabel('点击数')
    plt.scatter(X,Y,color="green",label="散点",linewidth=2)
    plt.plot(x, y,color="blue",label= "回归直线")
    plt.title("回归直线图")
    plt.legend() 
    plt.show()
huigui()

 

 

 

 四、结论

根据数据的图形分析，点击数会随着排名的降低呈现大幅度的下降，根据点击数的数量差距可以知道他们排名差距程度的多少。

小结：在完成程序的过程，有意外获得的收获也有一些困难，由于一个的函数字母的输入的错误导致代码无法运行。所以造就了我现在写代码要检查的习惯，不断的探索和学习，我对python的语法函数更加精炼。本次任务，我受益良多。