爬蟲實戰 - 如何爬取B站視頻評論？

步驟

（本次爬蟲僅以一個視頻為示例：鏈接）

• 查找評論請求api
  
• 解析URL
  去掉第一個和最后一個參數可得評論URL，即：https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn=1&type=1&oid=585286365&sort=2
  【其中pn是頁碼；sort控制排序順序，1按時間排序，2按熱度排序；oid代碼視頻編號】
  - 開始敲代碼

import requests

header = {"User-Agent": "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0",
		  "Cookie": ""}
comments = []
original_url = "https://api.bilibili.com/x/v2/reply?jsonp=jsonp&type=1&oid=585286365&sort=2&pn="

for page in range(1, 39):   # 頁碼這里就簡單處理了
    url = original_url + str(page)
    print(url)
    try:
        html = requests.get(url, headers=header)
        data = html.json()
        if data['data']['replies']:
            for i in data['data']['replies']:
                comments.append(i['content']['message'])
    except Exception as err:
        print(url)
        print(err)