50行代碼爬取微信公眾號所有文章

#今日目標

**50行代碼爬取微信公眾號所有文章**

今天要爬取的是微信公眾號，爬取公眾號的方式常見的有兩種。一是通過搜狗搜索去獲取，缺點是只能獲取最新的十條推送文章，
今天介紹另一種通過抓包PC端微信的方式去獲取公眾號文章的方法，相對其他方法更加便捷。
分析：我們發現每次下拉刷新文章的時候都會請求 mp.weixin.qq.com/mp/xxx公眾號不讓添加主頁鏈接，xxx表示profile_ext） 這個接口。
經過多次測試分析，用到了以下幾個參數：
__biz : 用戶和公眾號之間的唯一id，
uin ：用戶的私密id
key ：請求的秘鑰，一段時候只會就會失效。
offset ：偏移量
count ：每次請求的條數
*代碼實現*
```
import requests
import json
import time
from pymongo import MongoClient

url = 'http://mp.weixin.qq.com/mp/xxx'（公眾號不讓添加主頁鏈接，xxx表示profile_ext)

# Mongo配置
conn = MongoClient('127.0.0.1', 27017)
db = conn.wx  #連接wx數據庫，沒有則自動創建
mongo_wx = db.article  #使用article集合，沒有則自動創建

def get_wx_article(biz, uin, key, index=0, count=10):
    offset = (index + 1) * count
    params = {
        '__biz': biz,
        'uin': uin,
        'key': key,
        'offset': offset,
        'count': count,
        'action': 'getmsg',
        'f': 'json'
    }

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
    }

    response = requests.get(url=url, params=params, headers=headers)
    resp_json = response.json()
    if resp_json.get('errmsg') == 'ok':
        resp_json = response.json()
        # 是否還有分頁數據， 用於判斷return的值
        can_msg_continue = resp_json['can_msg_continue']
        # 當前分頁文章數
        msg_count = resp_json['msg_count']
        general_msg_list = json.loads(resp_json['general_msg_list'])
        list = general_msg_list.get('list')
        print(list, "**************")
        for i in list:
            app_msg_ext_info = i['app_msg_ext_info']
            # 標題
            title = app_msg_ext_info['title']
            # 文章地址
            content_url = app_msg_ext_info['content_url']
            # 封面圖
            cover = app_msg_ext_info['cover']

            # 發布時間
            datetime = i['comm_msg_info']['datetime']
            datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))

            mongo_wx.insert({
                'title': title,
                'content_url': content_url,
                'cover': cover,
                'datetime': datetime
            })
        if can_msg_continue == 1:
            return True
        return False
    else:
        print('獲取文章異常...')
        return False


if __name__ == '__main__':
    biz = 'Mzg4MTA2Nzg0NA=='
    uin = 'NDIyMTI5NDM1'
    key = '20a680e825f03f1e7f38f326772e54e7dc0fd02ffba17e92730ba3f0a0329c5ed310b0bd55
　　　　　　b3c0b1f122e5896c6261df2eaea4036ab5a5d32dbdbcb0a638f5f3605cf1821decf486bb6eb4d92d36c620'
    index = 0
    while 1:
        print(f'開始抓取公眾號第{index + 1} 頁文章.')
        flag = get_wx_article(biz, uin, key, index=index)
        # 防止和諧，暫停8秒
        time.sleep(8)
        index += 1
        if not flag:
            print('公眾號文章已全部抓取完畢，退出程序.')
            break

        print(f'..........准備抓取公眾號第{index + 1} 頁文章.')

```