Python爬取網易雲歌單

目錄

• 1. 關鍵點
• 2. 效果圖
• 3. 源代碼

1. 關鍵點

使用單線程爬取，未登錄，爬取網易雲歌單主要有三個關鍵點：

• url為https://music.163.com/discover/playlist/?order=hot&cat=%E8%AF%B4%E5%94%B1&limit=35&offset=105
• 網易雲使用翻頁形式，其特點為url的limit和offset參數
  • limit 表示單頁顯示的歌單數（修改無效）
  • offset 表示當前頁數，即 offset / limit + 1
• 發送get請求時froms與url的參數一樣
  • cat 歌單類型，必須將中文轉碼
  • order 最新或最熱
  • limit 與url參數一致
  • offset 與url參數一致

2. 效果圖

3. 源代碼

#! /usr/bin/python3
# _*_ coding:utf-8 _*_

"""

@ File   :網易歌單爬取.py
@ Author :LiuHeDong
@ Mail   :[e-mail]
@ Date   :2019-04-15 18:28:48

"""

from urllib import parse
from lxml import etree
from urllib3 import disable_warnings
import requests

class Wangyiyun(object):

    def __init__(self, **kwargs):
        # 歌單的歌曲風格
        self.types = kwargs['types']
        # 歌單的發布類型
        self.years = kwargs['years']
        # 這是當前爬取的頁數
        self.pages = pages
        # 這是請求的url參數（頁數）
        self.limit = 35
        self.offset = 35 * self.pages - self.limit
        # 這是請求的url
        self.url = "https://music.163.com/discover/playlist/?"


    # 設置請求頭部信息(可擴展：不同的User - Agent)
    def set_header(self):
        self.header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36",
            "Referer": "https://music.163.com/",
            "Upgrade-Insecure-Requests": '1',
        }
        return self.header

    # 設置請求表格信息
    def set_froms(self):
        self.key = parse.quote(self.types)
        self.froms = {
            "cat": self.key,
            "order": self.years,
            "limit": self.limit,
            "offset": self.offset,
        }
        return self.froms

    # 解析代碼，獲取有用的數據
    def parsing_codes(self):
        page = etree.HTML(self.code)
        # 標題
        self.title = page.xpath('//div[@class="u-cover u-cover-1"]/a[@title]/@title')
        # 作者
        self.author = page.xpath('//p/a[@class="nm nm-icn f-thide s-fc3"]/text()')
        # 閱讀量
        self.listen = page.xpath('//span[@class="nb"]/text()')
        # 歌單鏈接
        self.link = page.xpath('//div[@class="u-cover u-cover-1"]/a[@href]/@href')

        # 打印看看
        for i in zip(self.title, self.link, self.author, self.listen):
            print("[歌單名稱]：{}\n[發布作者]：{}\n[總播放量]：{}\n[歌單鏈接]：{}\n".format(i[0],i[2],i[3],"https://music.163.com/"+i[1]))
        print('第{}頁'.format(self.pages).center(50,'='))

    # 獲取網頁源代碼
    def get_code(self):
        disable_warnings()
        self.froms['cat']=self.types
        disable_warnings()
        self.new_url = self.url+parse.urlencode(self.froms)
        self.code = requests.get(
            url = self.new_url,
            headers = self.header,
            data = self.froms,
            verify = False,
        ).text

    # 爬取多頁時刷新offset
    def multi(self ,page):
        self.offset = self.limit * page - self.limit




if __name__ == '__main__':
    #=======================================
    # 指定一些參數
    # 歌單的歌曲風格
    types = "說唱"
    # 歌單的發布類型:最熱=hot，最新=new
    years = "hot"
    # 指定爬取的頁數
    pages = 1
    #=======================================

    # =======================================
    # 例子：通過pages變量爬取指定頁面（多頁）
    music = Wangyiyun(
        types = types,
        years = years,
    )

    for i in range(pages):
        page = i+1              # 因為沒有第0頁
        music.multi(page)       # 爬取多頁時指定，傳入當前頁數，刷新offset
        music.set_header()      # 調用頭部方法，構造請求頭信息
        music.set_froms()       # 調用froms方法，構造froms信息
        music.get_code()        # 獲取當前頁面的源碼
        music.parsing_codes()   # 處理源碼，獲取指定數據
    # =======================================

    #=======================================
    # 例子：通過pages變量爬取指定頁面（單頁）
    # music = Wangyiyun(
    #     types=types,
    #     years=years,
    # )
    # music.set_header()
    # music.set_froms()
    # music.get_code()
    # music.parsing_codes()
    #=======================================