Python對QQ音樂進行爬取並進行數據分析


Python對QQ音樂進行爬取並進行數據分析

 

三方包引入

使用到了以下包:

  • 爬蟲 scrapy
  • 網絡測試 requests
  • 數據分析 numpy和pandas
  • 繪圖 matplotlib和wordcloud
pip install scrapypip install requestspip install numpypip install pandaspip install matplotlibpip install wordcloud

爬取數據

打開QQ音樂網頁版的分類歌單界面,乍一看,一分析網頁源碼,看到下圖:

Python對QQ音樂進行爬取並進行數據分析

 

那么看來它就是使用動態填充的,那么它肯定就調用了接口,請求數據,那么就去找,在檢查里的network中找啊找,最終找到了它:

Python對QQ音樂進行爬取並進行數據分析

 

Python對QQ音樂進行爬取並進行數據分析

 

然后寫上代碼,經過調試,終於成功了。

最后我把它保存成一個csv文件,通過播放量排序,截取前20,得到了下圖

Python對QQ音樂進行爬取並進行數據分析

 

分析數據

對於這個數據的處理,就用到了numpy和pandas以及matplotlib。經過分析得出下圖結果:

播放次數分析

Python對QQ音樂進行爬取並進行數據分析

 

標簽分析

Python對QQ音樂進行爬取並進行數據分析

 

github地址:

https://github.com/arvinljw/SpiderNet/blob/master/qqmusic/qqmusic/spiders/qqmusic.py


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM