python | 豆瓣音乐排行榜数据爬取分析及可视化

python | 豆瓣音乐排行榜数据爬取分析及可视化

一、选题背景

  其实简单的对信息的下载，我们用不到爬虫出马，简单的一个单机下载，就可以解决下载的问题，但是对于想要多个音乐（排行榜里），有一定规律的音乐进行下载我们就可以看到Python给我们带来的便利，其实也是一种对数据进行搜集的一种方式。希望通过简单的音乐排名的爬取可以让我们更加了解python，并且对音乐数据背后带来的信息进行分析。对于音乐爬取，这个不涉及到版权的问题，爬取上应该没有太多的限制，那我们要找的就是一个音乐排行榜进行爬取学习，分析。我这里找的是豆瓣音乐本周音乐人最热单曲排行榜。我们确定我们想要的数据对应的排行了，这样我们对于我们的目标就又近了一步。

二、设计方案

1、名称

  豆瓣音乐排行榜数据爬取分析及可视化

2.内容与数据特征分析

  爬取歌曲播放量的数据，分析各类数据之间的特征与关系

3.设计方案概述

  通过访问网页源代码，爬取数据，分析html页面，标记需要的数据标签，对数据提取、处理、可视化、绘制图形、保存数据。

三、主题页面的结构特征分析

1、主题页面的结构与特征分析

数据来源：https://music.douban.com/chart

从下方网站页面截图可看出，页面结构大致分为三部分，我们需要爬取的数据基本在左下边，其他的可以不去考虑。

 

2、Htmls页面解析

 3.节点（标签）查找方法与遍历方法（必要时画出节点树结构）

四、网络爬虫程序设计

1、数据爬取与采集

#-*- coding = utf-8 -*-
from bs4 import BeautifulSoup
#进行网页解析

import re
#进行文字匹配

import urllib.request,urllib.error
#制定URL，获取网页数据

import xlwt
#进行excel操作

import sqlite3
#进行SQLite数据库操作


#开始爬取数据
def getData(url):
    datalist = []
    html = askURL(url)
    soup = BeautifulSoup(html,"html.parser")
    i=1
    for item in soup.find_all('li', class_="clearfix"):
        data = []
        item = str(item)
        pm = i
        i=i+1
        data.append(pm)
        findgm = re.compile(r'javascript:;">(.*?)</a>')
        gm = re.findall(findgm, item)[0]
        data.append(gm)
        if i<=11:
            findbfl = re.compile(r'\xa0/\xa0(.*?)</p>')
            bfl = re.findall(findbfl, item)[0]
            data.append(bfl)
        else:
            findbfl2 = re.compile(r'\xa0/\xa0(.*?)\n')
            bfl2 = re.findall(findbfl2, item)[0]
            data.append(bfl2)
        datalist.append(data)
        if i==16:
            break
    return datalist



def askURL(url):
    head = {
        "User-Agent": "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome / 96.0.4664.110 Safari / 537.36"
    }
    request = urllib.request.Request(url, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)

        if hasattr(e, "reason"):
            print(e.reason)

    return html



url = ("https://music.douban.com/chart")
html=askURL(url)
datalist = getData(url)
print(datalist)
savepath = ".\\豆瓣音乐本周音乐人最热单曲排行榜.xls"
book = xlwt.Workbook(encoding="utf-8",style_compression=0)

    #创建workbook对象
sheet = book.add_sheet('豆瓣音乐本周音乐人最热单曲排行榜',cell_overwrite_ok=True)

    #创建工作表
#列名
col = ("排名","歌名","播放量")

#创建表头
for i in range(0,3):
    sheet.write(0,i,col[i])

#输入数据
for i in range(0,15):
    #将播放量数据转化为纯数字格式
    datalist[i][2] = datalist[i][2].replace('次播放','')  
    data = datalist[i]
    for j in range(0,3):
            sheet.write(i+1,j,data[j])

book.save(savepath)

print('已输出表格!')
print("爬取完毕！")

2、读取数据

import pandas as pd

#导入数据
df_gm = pd.read_excel("豆瓣音乐本周音乐人最热单曲排行榜.xls",encoding='utf-8')

#显示数据表格
df_gm.head(15) 

输出内容如下：

3、数据清洗和处理

（1）查看是否有重复行，有重复行返回True，没有重复行返回False

df_gm.duplicated()

（2）判断数据行中是否存在缺失值，有缺失值返回True，没有缺失值返回False

df_gm.isnull().any(axis=1)

（3）查看是否有空值，有空值返回True，没有空值返回False

df_gm.isnull()

 

 

 

（4）查看是否存在异常值

df_gm.describe()

 

4、数据分析与可视化

（1）散点折线图

#绘制散点折线图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
df_gm = pd.read_excel("豆瓣音乐本周音乐人最热单曲排行榜.xls")

#散点
plt.scatter(df_gm.排名,df_gm.播放量,color='b')

#折线
plt.plot(df_gm.排名,df_gm.播放量,color='r')

#添加x轴标签和y轴标签 
plt.xlabel('PM')
plt.ylabel('BFL')

plt.show()

 

 

 

（2）数据柱形图

#绘制数据柱形图
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

kuake_df=pd.read_excel(r'C:\Users\20832\豆瓣音乐本周音乐人最热单曲排行榜.xls')
data=np.array(kuake_df['播放量'][0:15])

#添加x轴标签和y轴标签 
plt.xlabel('PM')
plt.ylabel('BFL')

s = pd.Series(data, index)
s.plot(kind='bar',color='cyan')

#添加网格
plt.grid()

plt.show()

 

 

 

（3）线性回归方程

#线性回归方程
import pandas as pd
from sklearn import datasets
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音乐本周音乐人最热单曲排行榜.xls')
predict_model=LinearRegression()
X=df_gm[["排名"]]
Y=df_gm["播放量"]
predict_model.fit(X,Y)
np.set_printoptions(precision=3,suppress=True)
print("回归方程系数为{}".format( predict_model.coef_)) 
print("回归方程截距:{0:2f}".format( predict_model.intercept_))

#绘制线性回归方程图
import matplotlib.pyplot as plt
import matplotlib
import numpy as np
import scipy.optimize as opt
df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音乐本周音乐人最热单曲排行榜.xls')
x0=np.array(df_gm['排名'])
y0=np.array(df_gm['播放量'])
def func(x,c0):
    a,b,c=c0
    return a*x**2+b*x+c
def errfc(c0,x,y):
    return y-func(x,c0)
c0=[0,2,3]
c1=opt.leastsq(errfc,c0,args=(x0,y0))[0]
a,b,c=c1
print(f"拟合方程为：y={a}*x**2+{b}*x+{c}")
chinese=matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.plot(x0,y0,"ob",label="样本数据")
plt.plot(x0,func(x0,c1),"r",label="拟合曲线")
#添加x轴标签和y轴标签
plt.xlabel("PM")
plt.ylabel("BFL")
plt.legend(loc=3,prop=chinese)
plt.show() 

 

 

 

5、完整代码

#-*- coding = utf-8 -*-
from bs4 import BeautifulSoup
#进行网页解析

import re
#进行文字匹配

import urllib.request,urllib.error
#制定URL，获取网页数据

import xlwt
#进行excel操作

import sqlite3
#进行SQLite数据库操作


#开始爬取数据
def getData(url):
    datalist = []
    html = askURL(url)
    soup = BeautifulSoup(html,"html.parser")
    i=1
    for item in soup.find_all('li', class_="clearfix"):
        data = []
        item = str(item)
        pm = i
        i=i+1
        data.append(pm)
        findgm = re.compile(r'javascript:;">(.*?)</a>')
        gm = re.findall(findgm, item)[0]
        data.append(gm)
        if i<=11:
            findbfl = re.compile(r'\xa0/\xa0(.*?)</p>')
            bfl = re.findall(findbfl, item)[0]
            data.append(bfl)
        else:
            findbfl2 = re.compile(r'\xa0/\xa0(.*?)\n')
            bfl2 = re.findall(findbfl2, item)[0]
            data.append(bfl2)
        datalist.append(data)
        if i==16:
            break
    return datalist



def askURL(url):
    head = {
        "User-Agent": "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome / 96.0.4664.110 Safari / 537.36"
    }
    request = urllib.request.Request(url, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)

        if hasattr(e, "reason"):
            print(e.reason)

    return html



url = ("https://music.douban.com/chart")
html=askURL(url)
datalist = getData(url)
print(datalist)
savepath = ".\\豆瓣音乐本周音乐人最热单曲排行榜.xls"
book = xlwt.Workbook(encoding="utf-8",style_compression=0)

    #创建workbook对象
sheet = book.add_sheet('豆瓣音乐本周音乐人最热单曲排行榜',cell_overwrite_ok=True)

    #创建工作表
#列名
col = ("排名","歌名","播放量")

#创建表头
for i in range(0,3):
    sheet.write(0,i,col[i])

#输入数据
for i in range(0,15):
    #将播放量数据转化为纯数字格式
    datalist[i][2] = datalist[i][2].replace('次播放','')  
    data = datalist[i]
    for j in range(0,3):
            sheet.write(i+1,j,data[j])

book.save(savepath)

print('已输出表格!')

print("爬取完毕！")



import pandas as pd

#导入数据
df_gm = pd.read_excel("豆瓣音乐本周音乐人最热单曲排行榜.xls",encoding='utf-8')

#显示数据表格
df_gm.head(15) 

#查看是否有重复行，有重复行返回True，没有重复行返回False
df_gm.duplicated()

#判断数据行中书是否存在缺失值，有缺失值返回True，没有缺失值返回False
df_gm.isnull().any(axis=1)

# 查看是否有空值，有空值返回True，没有空值返回False
df_gm.isnull()

#查看是否存在异常值
df_gm.describe()



#绘制散点折线图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df_gm = pd.read_excel("豆瓣音乐本周音乐人最热单曲排行榜.xls")

#散点
plt.scatter(df_gm.排名,df_gm.播放量,color='b')

#折线
plt.plot(df_gm.排名,df_gm.播放量,color='r')

#添加x轴标签和y轴标签 
plt.xlabel('PM')
plt.ylabel('BFL')

plt.show()



#绘制数据柱形图
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

kuake_df=pd.read_excel(r'C:\Users\20832\豆瓣音乐本周音乐人最热单曲排行榜.xls')
data=np.array(kuake_df['播放量'][0:15])

#添加x轴标签和y轴标签 
plt.xlabel('PM')
plt.ylabel('BFL')

s = pd.Series(data, index)
s.plot(kind='bar',color='cyan')

#添加网格
plt.grid()

plt.show()



#线性回归方程
import pandas as pd
from sklearn import datasets
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression

df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音乐本周音乐人最热单曲排行榜.xls')
predict_model=LinearRegression()

#设定X和Y变量
X=df_gm[["排名"]]
Y=df_gm["播放量"]
predict_model.fit(X,Y)
np.set_printoptions(precision=3,suppress=True)
print("回归方程系数为{}".format( predict_model.coef_)) 
print("回归方程截距:{0:2f}".format( predict_model.intercept_))



#绘制线性回归方程图
import matplotlib.pyplot as plt
import matplotlib
import numpy as np
import scipy.optimize as opt

df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音乐本周音乐人最热单曲排行榜.xls')

x0=np.array(df_gm['排名'])
y0=np.array(df_gm['播放量'])
def func(x,c0):
    a,b,c=c0
    return a*x**2+b*x+c
def errfc(c0,x,y):
    return y-func(x,c0)

c0=[0,2,3]
c1=opt.leastsq(errfc,c0,args=(x0,y0))[0]
a,b,c=c1
print(f"拟合方程为：y={a}*x**2+{b}*x+{c}")

chinese=matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.plot(x0,y0,"ob",label="样本数据")
plt.plot(x0,func(x0,c1),"r",label="拟合曲线")

#添加x轴标签和y轴标签
plt.xlabel("PM")
plt.ylabel("BFL")

plt.legend(loc=3,prop=chinese)
plt.show()

 

五、总结

1、一步步分析，在进行爬虫爬取的时候要注意，有时候的参数是可以省略的，因此在构造请求信息的时候就可以省略参数的信息。

 

2、通过这次的期末设计项目学习，我深深的感觉到自己不论是知识层面上还是动手实践能力上都很欠缺，学无止境。虽然本学期即将结束，但我们的学习永远不会有终点。希望通过本次总结，我可以更好的认清自己的优缺点，取长补短，在今后的学习中不断提升自己的能力!