qq音乐热播榜的爬取和数据分析

一、选题的背景

  QQ音乐是隶属于腾讯音乐娱乐集团的音乐流媒体平台。自2005年创立，QQ音乐注册用户总量已达8亿。QQ音乐以优质内容为核心，以大数据与互联网技术为推动力 ，致力于打造“智慧声态”的“立体”泛音乐生态圈，为用户提供多元化的音乐生活体验。通过对qq音乐热播榜的爬取与数据可视化分析，能够更好了解当代青年所关注的社会热点，了解当代青年的情感寄托等。

二、主题式网络爬虫设计方案

1.主题式网络爬虫名称：爬取qq音乐热播榜数据并数据分析及可视化

2.主题式网络爬虫爬取的内容与数据特征分析：

对qq音乐热播榜的“排名”，“时长”，“作者”，“歌名”四个数据进行爬取

3.主题式网络爬虫设计方案概述：

实现思路：登录qq音乐，进入qq音乐热播榜，进入网页开发人员工具，得到网页源代码，查找所需标签的代码，进行数据采集，完成后对数据进行相应的分析整理并存入文档中。读取文件进行数据清洗和数据可视化，绘制图形进行数据分析。接下来分析排行和时长的数据拟合分析，最后进行数据持久化。

技术难点：爬取信息时对标签的寻找，回归方程运用得不够熟练等。

三、主题页面的结构特征分析

1.主题页面的结构与特征分析

通过对页面结构的分析，发现<div class="main">元素中，发现所需要的数据。并进行查找，在标签<class="songlist_number">，<class="songlist_time">，<class="playlist_author">，<a>分别找到排名，时长，作者，歌名的数据。

url为https://y.qq.com/n/ryqq/toplist/26

网址首页

 

 

2.Htmls 页面解析

通过查找网页源代码，浏览其中元素，并对其中元素进行解析

 

 

 

 

 

3.节点（标签）查找方法与遍历方法

 

 

四、网络爬虫程序设计

1.数据爬取与采集

#网页的爬取

#导入相关库
import requests
#引入pandas用于数据可视化
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import csv
import scipy as sp
import seaborn as sns
from sklearn.linear_model import LinearRegression
from bs4 import BeautifulSoup
from pandas import DataFrame
from scipy.optimize import leastsq
#搜索网址
url='https://y.qq.com/n/ryqq/toplist/26'
#伪装爬虫
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'}

r = requests.get(url,  headers=headers,timeout=10)

def getHTMLText(url,timeout = 30):
    try:
        #用requests抓取网页信息
        r = requests.get(url, timeout = 30)       
        #可以让程序产生异常时停止程序
        r.raise_for_status()                      
        #设置编码标准
        r.encoding = r.apparent_encoding          
        return r.text
    except:
        return '产生异常'

    
#统一编码
html=r.text
#html.parser表示用BeautifulSoup库解析网页
soup=BeautifulSoup(html,'html.parser')
#基于bs4库HTML的格式输出，让页面更友好的显示
print(soup.prettify())

 

 

#爬取数据
#爬取排行
rank=[]
for m in soup.find_all(class_="songlist__number"):
    rank.append(m.get_text().strip()) 
print(rank)

#爬取时长
time=[]
for n in soup.find_all(class_="songlist__time"):
    time.append(n.get_text().strip()) 
    
print(time)

#爬取歌曲名
song=[]
for n in soup.find_all("a",class_=""):
    song.append(n.get_text().strip()) 
print(song)

#爬取作者
name=[]
for n in soup.find_all(class_="playlist__author"):
    name.append(n.get_text().strip()) 
print(name)

#将数据整理成表格
num=20
lst = []
print('{:^5}\t{:^40}\t{:^10}\t{:^20}'.format('排名','时长','作者','歌名'))
for i in range(num):
    
    print('{:^5}\t{:^40}\t{:^10}\t{:^20}'.format(i+1, time[i], name[i], song[i]))
    lst.append([i+1, time[i], name[i], song[i]])
df = pd.DataFrame(lst,columns=['排名','时长','作者','歌名'])

#将数据存入excel表
A = r'song.xlsx'
df.to_excel(A)

 

 

2.对数据进行清洗和处理

#读取excel表
df=pd.DataFrame(pd.read_excel('song.xlsx'))
print(df)

#数据清洗及处理
print('\n====各列是否有空值情况如下：====')
df.isnull() 
df.isna().head()

 

 

 

 

 

print('\n====各列是否有重复值情况如下：====')
print(df.duplicated())

 

 

#数据汇总
print(df.describe())
# 查找异常值
df.describe()

 

 

 

 

4.数据分析与可视化

#数据分析
#数据可视化
import seaborn as sns
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
sns.set(style='white')
plt.grid()
sns.regplot(df.排名,df.时长)

 

 

#画出散点图
# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei'] 
# 用来正常显示负号
plt.rcParams['axes.unicode_minus'] = False  
N=20
x=np.random.rand(N)
y=np.random.rand(N)
size=50
plt.grid()
plt.xlabel("排名")
plt.ylabel("热度")
plt.scatter(x,y,size,color='r',alpha=0.5,marker="o")
#散点图  kind='reg'
sns.jointplot(x="排名",y="时长",data=df,kind='reg')
#  kind='hex'
sns.jointplot(x="排名",y="时长",data=df,kind='hex')
# kind='kde'
sns.jointplot(x="排名",y="时长",data=df,kind="kde")

 

 

 

import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用于数据可视化
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression
#绘制
plt.rcParams['font.sans-serif']=['SimHei'] 
a = df.排名
b = df.时长
plt.bar(a,b, color='b',label='时长')
plt.xlabel("排名")
plt.ylabel("时长")
plt.title('排名与时长数据柱状图')
plt.legend(loc=1)
plt.grid()
plt.show()

 

 

#绘制盒图
import seaborn as sns
def box():
    plt.title('时长指数盒图')
    a = df.排名
    b = df.时长
    sns.boxplot(a,b)
    plt.xlabel("排名")
    plt.ylabel("时长")

box()

 

#绘制折线图
plt.rcParams['font.sans-serif']=['SimHei'] 
a = df.排名
b = df.时长
plt.plot(a,b, color='r',label='时长')
plt.xlabel("排名")
plt.ylabel("时长")
plt.title('排名与时长数据折线图')
plt.legend(loc=1)
plt.grid()
plt.show()

 

 

#绘制直方图
plt.figure(dpi=100)
a = df.排名
b = df.时长
plt.bar(a,b,color='y')
plt.title("排名与时长数据直方图")
plt.xlabel("排名")
plt.ylabel("时长")
plt.grid()
plt.show()

 

 

5.根据数据之间的关系，分析两个变量之间的相关系数，画出散点图，并建立变

量之间的回归方程

#构建数据分析模型
import numpy as np
import pandas as pd
import sklearn
from sklearn import datasets
from sklearn.linear_model import LinearRegression
X = df[["排名"]]
predict_model = LinearRegression()
predict_model.fit(X, df[['时长']])

print("回归系数为{}".format(predict_model.coef_))
print("回归方程截距:{}".format(predict_model.intercept_))

 

 

#选择排名和热度两个特征变量，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和拟合曲线
colnames=[" ","排名","时长","作者","歌名"]
df = pd.read_excel('song.xlsx',skiprows=1,names=colnames)
X = df.排名
Y = df.时长
Z = df.作者
P = df.歌名
def A():
    plt.scatter(X,Y,color="blue",linewidth=2)
    plt.title("分析图",color="blue")
    plt.grid()
    plt.show()
def B():
    plt.scatter(X,Y,color="green",linewidth=2)
    plt.title("分析图",color="blue")
    plt.grid()
    plt.show()
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c
def error(p,x,y):
    return func(p,x)-y
def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="blue",linewidth=2,)
    plt.title("分析图")
    plt.grid()
    plt.show()
print(A())
print(B())
print(main())

 

 

6.数据持久化

#数据持久化
A = r'song.xlsx'
df.to_excel(A)

 

 

7.将以上各部分的代码汇总，附上完整程序代码 

#导入相关库
import requests
#引入pandas用于数据可视化
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import matplotlib
import csv
import scipy as sp
import seaborn as sns
from sklearn.linear_model import LinearRegression
from bs4 import BeautifulSoup
from pandas import DataFrame
from scipy.optimize import leastsq
#搜索网址
url='https://y.qq.com/n/ryqq/toplist/26'
#伪装爬虫
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'}

r = requests.get(url,  headers=headers,timeout=10)

def getHTMLText(url,timeout = 30):
    try:
        #用requests抓取网页信息
        r = requests.get(url, timeout = 30)       
        #可以让程序产生异常时停止程序
        r.raise_for_status()                      
        #设置编码标准
        r.encoding = r.apparent_encoding          
        return r.text
    except:
        return '产生异常'

    
#统一编码
html=r.text
#html.parser表示用BeautifulSoup库解析网页
soup=BeautifulSoup(html,'html.parser')
#基于bs4库HTML的格式输出，让页面更友好的显示
print(soup.prettify())

#爬取数据
#爬取排行
rank=[]
for m in soup.find_all(class_="songlist__number"):
    rank.append(m.get_text().strip()) 
print(rank)

#爬取时长
time=[]
for n in soup.find_all(class_="songlist__time"):
    time.append(n.get_text().strip()) 
    
print(time)

#爬取歌曲名
song=[]
for n in soup.find_all("a",class_=""):
    song.append(n.get_text().strip()) 
print(song)

#爬取作者
name=[]
for n in soup.find_all(class_="playlist__author"):
    name.append(n.get_text().strip()) 
print(name)

#将数据整理成表格
num=20
lst = []
print('{:^5}\t{:^40}\t{:^10}\t{:^20}'.format('排名','时长','作者','歌名'))
for i in range(num):
    
    print('{:^5}\t{:^40}\t{:^10}\t{:^20}'.format(i+1, time[i], name[i], song[i]))
    lst.append([i+1, time[i], name[i], song[i]])
df = pd.DataFrame(lst,columns=['排名','时长','作者','歌名'])

#将数据存入excel表
A = r'song.xlsx'
df.to_excel(A)

#读取excel表
df=pd.DataFrame(pd.read_excel('song.xlsx'))
df

#数据清洗及处理
print('\n====各列是否有空值情况如下：====')
df.isnull() 
df.isna().head()
print('\n====各列是否有重复值情况如下：====')
print(df.duplicated())
# 查找异常值
df.describe()
#数据汇总
print(df.describe())

#数据分析
#数据可视化
import seaborn as sns
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
sns.set(style='white')
plt.grid()
sns.regplot(df.排名,df.时长)
#画出散点图
# 用来正常显示中文标签
plt.rcParams['font.sans-serif'] = ['SimHei'] 
# 用来正常显示负号
plt.rcParams['axes.unicode_minus'] = False  
N=20
x=np.random.rand(N)
y=np.random.rand(N)
size=50
plt.grid()
plt.xlabel("排名")
plt.ylabel("热度")
plt.scatter(x,y,size,color='r',alpha=0.5,marker="o")
#散点图  kind='reg'
sns.jointplot(x="排名",y="时长",data=df,kind='reg')
#  kind='hex'
sns.jointplot(x="排名",y="时长",data=df,kind='hex')
# kind='kde'
sns.jointplot(x="排名",y="时长",data=df,kind="kde")

import requests
from bs4 import BeautifulSoup
import bs4
#引入pandas用于数据可视化
import pandas as pd   
from pandas import DataFrame
import seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
from scipy.optimize import leastsq
from sklearn.linear_model import LinearRegression
#绘制
plt.rcParams['font.sans-serif']=['SimHei'] 
a = df.排名
b = df.时长
plt.bar(a,b, color='b',label='时长')
plt.xlabel("排名")
plt.ylabel("时长")
plt.title('排名与时长数据柱状图')
plt.legend(loc=1)
plt.grid()
plt.show()

#绘制盒图
import seaborn as sns
def box():
    plt.title('热度指数盒图')
    a = df.排名
    b = df.时长
    sns.boxplot(a,b)
    plt.xlabel("排名")
    plt.ylabel("时长")

box()

#绘制折线图
plt.rcParams['font.sans-serif']=['SimHei'] 
a = df.排名
b = df.时长
plt.plot(a,b, color='r',label='时长')
plt.xlabel("排名")
plt.ylabel("时长")
plt.title('排名与时长数据折线图')
plt.legend(loc=1)
plt.grid()
plt.show()

#构建数据分析模型
import numpy as np
import pandas as pd
import sklearn
from sklearn import datasets
from sklearn.linear_model import LinearRegression
X = df[["排名"]]
predict_model = LinearRegression()
predict_model.fit(X, df[['时长']])

print("回归系数为{}".format(predict_model.coef_))
print("回归方程截距:{}".format(predict_model.intercept_))

#选择排名和热度两个特征变量，绘制分布图，用最小二乘法分析两个变量间的二次拟合方程和拟合曲线
colnames=[" ","排名","时长","作者","歌名"]
df = pd.read_excel('song.xlsx',skiprows=1,names=colnames)
X = df.排名
Y = df.时长
Z = df.作者
P = df.歌名
def A():
    plt.scatter(X,Y,color="blue",linewidth=2)
    plt.title("分析图",color="blue")
    plt.grid()
    plt.show()
def B():
    plt.scatter(X,Y,color="green",linewidth=2)
    plt.title("分析图",color="blue")
    plt.grid()
    plt.show()
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c
def error(p,x,y):
    return func(p,x)-y
def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="blue",linewidth=2,)
    plt.title("分析图")
    plt.grid()
    plt.show()
print(A())
print(B())
print(main())

#数据持久化
A = r'song.xlsx'
df.to_excel(A)

五、总结

1.经过对主题数据的分析与可视化，可以得到哪些结论？是否达到预期的目标？

根据数据分析可以发现，排名会随时长不稳定变化，图表可以更为直观的表现出排名与时长的关系和变化和反映出各个两者之间的关系。同时，经过结合标签“标题”进行分析，可以发现当代青年的关注点大致分布在“快歌”“热歌”这些领域。

2.在完成此设计过程中，得到哪些收获？以及要改进的建议？

在完成此次设计的途中可谓是九九八十一难，无论是网站爬取，图表制作还是数据分析，都出现过大大小小的问题。例如在寻找要爬取的网站时，曾因为无法找到相关信息，出现乱码等，不得不反反复复更换十来个网站进行爬取。在绘制图表的过程中，也因为饼状图，堆叠图，3d散点图等图表制作的不熟练导致频频失误，最后只好放弃，改用其他图表。但在此次设计的重重“劫难”中也让我学到了许多知识。首先，为了这次设计，我不得不求学于我的课本以及之前上的网课，回忆重温之前的教学内容，除了令我对老师深厚的教学水准深感敬佩外，还巩固了我的课内知识。其次，在遇到课本也解决不了的问题的时候，我学会了去利用同学 与网络渠道去解决疑惑。这既锻炼了我的交流能力，同时也让我学习了颇多的课外知识，真是令我受益匪浅啊。此次作业，或许有很多不足，但是，这也令我意识到了自己的水平是多么的有限，对python这一门课程的理解是多么的有限。但是，这些不足也激起了我对python这门课程研究的动力。最后，我希望通过此次经历，会使我在以后的学习中，更加努力的提高自己的能力，掌握更深的知识。