python爬蟲公眾號所有信息，並批量下載公眾號視頻

本文轉載自查看原文 2019-12-10 08:55 922 爬蟲公眾號/ Python爬蟲/ Python

還有同學一直在問，可能中間有一些小細節不明確，這次徹底明確一下細節。

本篇添加一個批量下載公眾號內視頻的功能，可以實現完全復制一個公眾號，危險動作，請不要操作！謝謝

主要功能

如何簡單爬蟲微信公眾號

獲取信息：標題、摘要、封面、文章地址

自動批量下載公眾號內的視頻

本次選取的公眾號：熊孩子與萌寵

每天更新視頻：熊孩子日常、萌寵日常、熊孩子和萌寵搞笑視頻，笑聲不斷快樂常伴！

請允許我強制打一波廣告：

因為每次爬蟲公眾號都是他家的，一年前是，現在亦是，只是更換了主題和名字。

一個喜歡小寵物，養不起貓的碼農，工作之余看看還是很開心的。可以關注一下！

為了視頻安全與避免造成損失，已友善提醒號主，視頻添加水印。

獲取公眾號信息

標題、摘要、封面、文章URL

操作步驟：
1、先自己申請一個公眾號
2、登錄自己的賬號，新建文章圖文，點擊超鏈接

3、彈出搜索框，搜索自己需要的公眾號，查看歷史文章

4、通過抓包獲取信息，定位請求的url

通過查看信息，找到了我們需要關鍵的內容：標題、摘要、封面和文章URL，確定這就是我們需要的URL,通過點擊下一頁，多次獲取url發現，只有random和bengin的參數發生變化

所以主信息URL確定。

那就開始吧：

事實發現我們需要修改的參數為：token、random、cookie

這兩個值的來源，獲取url時的就可以

# -*- coding: utf-8 -*-
import re

import requests
import jsonpath
import json

headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
"Host": "mp.weixin.qq.com",
"Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",
"Cookie": "自己獲取信息時的cookie"
       }

def getInfo():
    for i in range(80):
        # token  random 需要要自己的   begin：參數傳入
        url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))

        response = requests.get(url, headers = headers)

        jsonRes = response.json()


        titleList = jsonpath.jsonpath(jsonRes, "$..title")
        coverList = jsonpath.jsonpath(jsonRes, "$..cover")
        urlList = jsonpath.jsonpath(jsonRes, "$..link")

        # 遍歷 構造可存儲字符串
        for index in range(len(titleList)):
            title = titleList[index]
            cover = coverList[index]
            url = urlList[index]

            scvStr = "%s,%s, %s,\n" % (title, cover, url)
            with open("info.csv", "a+", encoding="gbk", newline='') as f:
                f.write(scvStr)

獲取結果(成功)：

獲取文章內視頻：實現批量下載

通過對單篇視頻文章分析，我找到了這個鏈接：

通過網頁打開發現，是視頻的網頁下載鏈接：

哎，好像有點意思了，找到了視頻的網頁純下載鏈接，那就開始吧。

發現鏈接里的有一個關鍵參數vid 不知道哪來的？

和獲取到的其他信息也沒有關系，那就只能硬來了。

通過對單文章的url請求信息里發現了這個參數，然后進行獲取。

response = requests.get(url_wxv, headers=headers)

    # 我用的是正則，也可以使用xpath
    jsonRes = response.text  #  匹配:wxv_1105179750743556096
    dirRe = r"wxv_.{19}"
    result = re.search(dirRe, jsonRes)

    wxv = result.group(0)
    print(wxv)

視頻下載：

def getVideo(video_title, url_wxv):
    video_path = './videoFiles/' + video_title + ".mp4"

    # 頁面可下載形式
    video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv
    response = requests.get(video_url_temp, headers=headers)
    content = response.content.decode()
    content = json.loads(content)
    url_info = content.get("url_info")
    video_url2 = url_info[0].get("url")
    print(video_url2)

    # 請求要下載的url地址
    html = requests.get(video_url2)
    # content返回的是bytes型也就是二進制的數據。
    html = html.content
    with open(video_path, 'wb') as f:
        f.write(html)

那么所有信息就都完成了，進行code組裝。

a、獲取公眾號信息

b、篩選單篇文章信息

c、獲取vid信息

d、拼接視頻頁面下載URL

e、下載視頻，保存

代碼實驗結果：