python | 豆瓣音樂排行榜數據爬取分析及可視化

python | 豆瓣音樂排行榜數據爬取分析及可視化

一、選題背景

  其實簡單的對信息的下載，我們用不到爬蟲出馬，簡單的一個單機下載，就可以解決下載的問題，但是對於想要多個音樂（排行榜里），有一定規律的音樂進行下載我們就可以看到Python給我們帶來的便利，其實也是一種對數據進行搜集的一種方式。希望通過簡單的音樂排名的爬取可以讓我們更加了解python，並且對音樂數據背后帶來的信息進行分析。對於音樂爬取，這個不涉及到版權的問題，爬取上應該沒有太多的限制，那我們要找的就是一個音樂排行榜進行爬取學習，分析。我這里找的是豆瓣音樂本周音樂人最熱單曲排行榜。我們確定我們想要的數據對應的排行了，這樣我們對於我們的目標就又近了一步。

二、設計方案

1、名稱

  豆瓣音樂排行榜數據爬取分析及可視化

2.內容與數據特征分析

  爬取歌曲播放量的數據，分析各類數據之間的特征與關系

3.設計方案概述

  通過訪問網頁源代碼，爬取數據，分析html頁面，標記需要的數據標簽，對數據提取、處理、可視化、繪制圖形、保存數據。

三、主題頁面的結構特征分析

1、主題頁面的結構與特征分析

數據來源：https://music.douban.com/chart

從下方網站頁面截圖可看出，頁面結構大致分為三部分，我們需要爬取的數據基本在左下邊，其他的可以不去考慮。

 

2、Htmls頁面解析

 3.節點（標簽）查找方法與遍歷方法（必要時畫出節點樹結構）

四、網絡爬蟲程序設計

1、數據爬取與采集

#-*- coding = utf-8 -*-
from bs4 import BeautifulSoup
#進行網頁解析

import re
#進行文字匹配

import urllib.request,urllib.error
#制定URL，獲取網頁數據

import xlwt
#進行excel操作

import sqlite3
#進行SQLite數據庫操作


#開始爬取數據
def getData(url):
    datalist = []
    html = askURL(url)
    soup = BeautifulSoup(html,"html.parser")
    i=1
    for item in soup.find_all('li', class_="clearfix"):
        data = []
        item = str(item)
        pm = i
        i=i+1
        data.append(pm)
        findgm = re.compile(r'javascript:;">(.*?)</a>')
        gm = re.findall(findgm, item)[0]
        data.append(gm)
        if i<=11:
            findbfl = re.compile(r'\xa0/\xa0(.*?)</p>')
            bfl = re.findall(findbfl, item)[0]
            data.append(bfl)
        else:
            findbfl2 = re.compile(r'\xa0/\xa0(.*?)\n')
            bfl2 = re.findall(findbfl2, item)[0]
            data.append(bfl2)
        datalist.append(data)
        if i==16:
            break
    return datalist



def askURL(url):
    head = {
        "User-Agent": "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome / 96.0.4664.110 Safari / 537.36"
    }
    request = urllib.request.Request(url, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)

        if hasattr(e, "reason"):
            print(e.reason)

    return html



url = ("https://music.douban.com/chart")
html=askURL(url)
datalist = getData(url)
print(datalist)
savepath = ".\\豆瓣音樂本周音樂人最熱單曲排行榜.xls"
book = xlwt.Workbook(encoding="utf-8",style_compression=0)

    #創建workbook對象
sheet = book.add_sheet('豆瓣音樂本周音樂人最熱單曲排行榜',cell_overwrite_ok=True)

    #創建工作表
#列名
col = ("排名","歌名","播放量")

#創建表頭
for i in range(0,3):
    sheet.write(0,i,col[i])

#輸入數據
for i in range(0,15):
    #將播放量數據轉化為純數字格式
    datalist[i][2] = datalist[i][2].replace('次播放','')  
    data = datalist[i]
    for j in range(0,3):
            sheet.write(i+1,j,data[j])

book.save(savepath)

print('已輸出表格!')
print("爬取完畢！")

2、讀取數據

import pandas as pd

#導入數據
df_gm = pd.read_excel("豆瓣音樂本周音樂人最熱單曲排行榜.xls",encoding='utf-8')

#顯示數據表格
df_gm.head(15) 

輸出內容如下：

3、數據清洗和處理

（1）查看是否有重復行，有重復行返回True，沒有重復行返回False

df_gm.duplicated()

（2）判斷數據行中是否存在缺失值，有缺失值返回True，沒有缺失值返回False

df_gm.isnull().any(axis=1)

（3）查看是否有空值，有空值返回True，沒有空值返回False

df_gm.isnull()

 

 

 

（4）查看是否存在異常值

df_gm.describe()

 

4、數據分析與可視化

（1）散點折線圖

#繪制散點折線圖
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
df_gm = pd.read_excel("豆瓣音樂本周音樂人最熱單曲排行榜.xls")

#散點
plt.scatter(df_gm.排名,df_gm.播放量,color='b')

#折線
plt.plot(df_gm.排名,df_gm.播放量,color='r')

#添加x軸標簽和y軸標簽 
plt.xlabel('PM')
plt.ylabel('BFL')

plt.show()

 

 

 

（2）數據柱形圖

#繪制數據柱形圖
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

kuake_df=pd.read_excel(r'C:\Users\20832\豆瓣音樂本周音樂人最熱單曲排行榜.xls')
data=np.array(kuake_df['播放量'][0:15])

#添加x軸標簽和y軸標簽 
plt.xlabel('PM')
plt.ylabel('BFL')

s = pd.Series(data, index)
s.plot(kind='bar',color='cyan')

#添加網格
plt.grid()

plt.show()

 

 

 

（3）線性回歸方程

#線性回歸方程
import pandas as pd
from sklearn import datasets
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression
df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音樂本周音樂人最熱單曲排行榜.xls')
predict_model=LinearRegression()
X=df_gm[["排名"]]
Y=df_gm["播放量"]
predict_model.fit(X,Y)
np.set_printoptions(precision=3,suppress=True)
print("回歸方程系數為{}".format( predict_model.coef_)) 
print("回歸方程截距:{0:2f}".format( predict_model.intercept_))

#繪制線性回歸方程圖
import matplotlib.pyplot as plt
import matplotlib
import numpy as np
import scipy.optimize as opt
df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音樂本周音樂人最熱單曲排行榜.xls')
x0=np.array(df_gm['排名'])
y0=np.array(df_gm['播放量'])
def func(x,c0):
    a,b,c=c0
    return a*x**2+b*x+c
def errfc(c0,x,y):
    return y-func(x,c0)
c0=[0,2,3]
c1=opt.leastsq(errfc,c0,args=(x0,y0))[0]
a,b,c=c1
print(f"擬合方程為：y={a}*x**2+{b}*x+{c}")
chinese=matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.plot(x0,y0,"ob",label="樣本數據")
plt.plot(x0,func(x0,c1),"r",label="擬合曲線")
#添加x軸標簽和y軸標簽
plt.xlabel("PM")
plt.ylabel("BFL")
plt.legend(loc=3,prop=chinese)
plt.show() 

 

 

 

5、完整代碼

#-*- coding = utf-8 -*-
from bs4 import BeautifulSoup
#進行網頁解析

import re
#進行文字匹配

import urllib.request,urllib.error
#制定URL，獲取網頁數據

import xlwt
#進行excel操作

import sqlite3
#進行SQLite數據庫操作


#開始爬取數據
def getData(url):
    datalist = []
    html = askURL(url)
    soup = BeautifulSoup(html,"html.parser")
    i=1
    for item in soup.find_all('li', class_="clearfix"):
        data = []
        item = str(item)
        pm = i
        i=i+1
        data.append(pm)
        findgm = re.compile(r'javascript:;">(.*?)</a>')
        gm = re.findall(findgm, item)[0]
        data.append(gm)
        if i<=11:
            findbfl = re.compile(r'\xa0/\xa0(.*?)</p>')
            bfl = re.findall(findbfl, item)[0]
            data.append(bfl)
        else:
            findbfl2 = re.compile(r'\xa0/\xa0(.*?)\n')
            bfl2 = re.findall(findbfl2, item)[0]
            data.append(bfl2)
        datalist.append(data)
        if i==16:
            break
    return datalist



def askURL(url):
    head = {
        "User-Agent": "Mozilla / 5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome / 96.0.4664.110 Safari / 537.36"
    }
    request = urllib.request.Request(url, headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)

        if hasattr(e, "reason"):
            print(e.reason)

    return html



url = ("https://music.douban.com/chart")
html=askURL(url)
datalist = getData(url)
print(datalist)
savepath = ".\\豆瓣音樂本周音樂人最熱單曲排行榜.xls"
book = xlwt.Workbook(encoding="utf-8",style_compression=0)

    #創建workbook對象
sheet = book.add_sheet('豆瓣音樂本周音樂人最熱單曲排行榜',cell_overwrite_ok=True)

    #創建工作表
#列名
col = ("排名","歌名","播放量")

#創建表頭
for i in range(0,3):
    sheet.write(0,i,col[i])

#輸入數據
for i in range(0,15):
    #將播放量數據轉化為純數字格式
    datalist[i][2] = datalist[i][2].replace('次播放','')  
    data = datalist[i]
    for j in range(0,3):
            sheet.write(i+1,j,data[j])

book.save(savepath)

print('已輸出表格!')

print("爬取完畢！")



import pandas as pd

#導入數據
df_gm = pd.read_excel("豆瓣音樂本周音樂人最熱單曲排行榜.xls",encoding='utf-8')

#顯示數據表格
df_gm.head(15) 

#查看是否有重復行，有重復行返回True，沒有重復行返回False
df_gm.duplicated()

#判斷數據行中書是否存在缺失值，有缺失值返回True，沒有缺失值返回False
df_gm.isnull().any(axis=1)

# 查看是否有空值，有空值返回True，沒有空值返回False
df_gm.isnull()

#查看是否存在異常值
df_gm.describe()



#繪制散點折線圖
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df_gm = pd.read_excel("豆瓣音樂本周音樂人最熱單曲排行榜.xls")

#散點
plt.scatter(df_gm.排名,df_gm.播放量,color='b')

#折線
plt.plot(df_gm.排名,df_gm.播放量,color='r')

#添加x軸標簽和y軸標簽 
plt.xlabel('PM')
plt.ylabel('BFL')

plt.show()



#繪制數據柱形圖
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

kuake_df=pd.read_excel(r'C:\Users\20832\豆瓣音樂本周音樂人最熱單曲排行榜.xls')
data=np.array(kuake_df['播放量'][0:15])

#添加x軸標簽和y軸標簽 
plt.xlabel('PM')
plt.ylabel('BFL')

s = pd.Series(data, index)
s.plot(kind='bar',color='cyan')

#添加網格
plt.grid()

plt.show()



#線性回歸方程
import pandas as pd
from sklearn import datasets
from sklearn.datasets import load_boston
from sklearn.linear_model import LinearRegression

df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音樂本周音樂人最熱單曲排行榜.xls')
predict_model=LinearRegression()

#設定X和Y變量
X=df_gm[["排名"]]
Y=df_gm["播放量"]
predict_model.fit(X,Y)
np.set_printoptions(precision=3,suppress=True)
print("回歸方程系數為{}".format( predict_model.coef_)) 
print("回歸方程截距:{0:2f}".format( predict_model.intercept_))



#繪制線性回歸方程圖
import matplotlib.pyplot as plt
import matplotlib
import numpy as np
import scipy.optimize as opt

df_gm=pd.read_excel(r'C:\Users\20832\豆瓣音樂本周音樂人最熱單曲排行榜.xls')

x0=np.array(df_gm['排名'])
y0=np.array(df_gm['播放量'])
def func(x,c0):
    a,b,c=c0
    return a*x**2+b*x+c
def errfc(c0,x,y):
    return y-func(x,c0)

c0=[0,2,3]
c1=opt.leastsq(errfc,c0,args=(x0,y0))[0]
a,b,c=c1
print(f"擬合方程為：y={a}*x**2+{b}*x+{c}")

chinese=matplotlib.font_manager.FontProperties(fname='C:\Windows\Fonts\simsun.ttc')
plt.plot(x0,y0,"ob",label="樣本數據")
plt.plot(x0,func(x0,c1),"r",label="擬合曲線")

#添加x軸標簽和y軸標簽
plt.xlabel("PM")
plt.ylabel("BFL")

plt.legend(loc=3,prop=chinese)
plt.show()

 

五、總結

1、一步步分析，在進行爬蟲爬取的時候要注意，有時候的參數是可以省略的，因此在構造請求信息的時候就可以省略參數的信息。

 

2、通過這次的期末設計項目學習，我深深的感覺到自己不論是知識層面上還是動手實踐能力上都很欠缺，學無止境。雖然本學期即將結束，但我們的學習永遠不會有終點。希望通過本次總結，我可以更好的認清自己的優缺點，取長補短，在今后的學習中不斷提升自己的能力!