本文首發自公眾號：python3xxx
爬取公眾號的方式常見的有兩種
-
通過搜狗搜索去獲取，缺點是只能獲取最新的十條推送文章
-
通過微信公眾號的素材管理，獲取公眾號文章。缺點是需要申請自己的公眾號。
圖片描述
今天介紹一種通過抓包PC端微信的方式去獲取公眾號文章的方法。相比其他的方法非常方便。
圖片描述 
圖片描述
如上圖，通過抓包工具獲取微信的網絡信息請求，我們發現每次下拉刷新文章的時候都會請求 mp.weixin.qq.com/mp/profile_ext 這個接口。
經過多次測試分析，用到了以下幾個參數
-
__biz : 用戶和公眾號之間的唯一id，
-
uin ：用戶的私密id
-
key ：請求的秘鑰，一段時候只會就會失效。
-
offset ：偏移量
-
count ：每次請求的條數
數據如下
{
"ret": 0,
"errmsg": "ok", # 請求狀態
"msg_count": 10, # 信息條數
"can_msg_continue": 1, # 是否還可以繼續獲取，1代表可以。0代表不可以，也就是最后一頁
"general_msg_list": "{"list":[]}", # 公眾號文本信息
"next_offset": 20,
"video_count": 1,
"use_video_tab": 1,
"real_type": 0,
"home_page_list": []
}
部分代碼如下
params = {
'__biz': biz,
'uin': uin,
'key': key,
'offset': offset,
'count': count,
'action': 'getmsg',
'f': 'json'
}
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36'
}
response = requests.get(url=url, params=params, headers=headers)
resp_json = response.json()
if resp_json.get('errmsg') == 'ok':
resp_json = response.json()
# 是否還有分頁數據， 用於判斷return的值
can_msg_continue = resp_json['can_msg_continue']
# 當前分頁文章數
msg_count = resp_json['msg_count']
general_msg_list = json.loads(resp_json['general_msg_list'])
list = general_msg_list.get('list')
print(list, "**************")
最后打印的list就是公眾號的文章信息詳情。包括標題(titile)、摘要(digest)、文章地址(content_url)、閱讀原文地址(source_url)、封面圖(cover)、作者(author)等等…
輸出結果如下：
[{ "comm_msg_info": { "id": 1000000038, "type": 49, "datetime": 1560474000, "fakeid": "3881067844", "status": 2, "content": "" }, "app_msg_ext_info": { "title": "入門爬蟲，這一篇就夠了！！！", "digest": "入門爬蟲，這一篇就夠了！！！", "content": "", "fileid": 0, "content_url": "http:XXXXXX", "source_url": "", "cover": "I5kME6BVXeLibZDUhsiaEYiaX7zOoibxa9sb4stIwrfuqID5ttmiaoVAFyxKF6IjOCyl22vg8n2NPv98ibow\\/0?wx_fmt=jpeg", "subtype": 9, "is_multi": 0, "multi_app_msg_item_list": [], "author": "Python3X", "copyright_stat": 11, "duration": 0, "del_flag": 1, "item_show_type": 0, "audio_fileid": 0, "play_url": "", "malicious_title_reason_id": 0, "malicious_content_type": 0 } },{...},{...},{...},{...},{...},{...},{...},{...},{...}]
獲取數據之后，可以保存到數據庫中，也可以將文章保存在PDF中。
1、保存在Mongo中
# Mongo配置
conn = MongoClient('127.0.0.1', 27017)
db = conn.wx #連接wx數據庫，沒有則自動創建
mongo_wx = db.article #使用article集合，沒有則自動創建
for i in list:
app_msg_ext_info = i['app_msg_ext_info']
# 標題
title = app_msg_ext_info['title']
# 文章地址
content_url = app_msg_ext_info['content_url']
# 封面圖
cover = app_msg_ext_info['cover']
# 發布時間
datetime = i['comm_msg_info']['datetime']
datetime = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(datetime))
mongo_wx.insert({
'title': title,
'content_url': content_url,
'cover': cover,
'datetime': datetime
})
結果如下
圖片描述
2、導入到PDF文件中
Python3中常用的操作PDF的庫有python-pdf和pdfkit。我用了pdfkit這個模塊導出pdf文件。
pdfkit是工具包Wkhtmltopdf的封裝類，因此需要安裝Wkhtmltopdf才能使用。
可以訪問 https://wkhtmltopdf.org/downloads.html 下載和操作系統匹配的工具包。
圖片描述
實現代碼也比較簡單，只需要傳入導入文件的url即可。
安裝pdfkit庫
pip3 install pdfkit -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
import pdfkit
pdfkit.from_url('公眾號文章地址', 'out.pdf')
運行之后成功導出pdf文件。
以上就是獲取公眾號文章的方式，如需完整代碼，可在公眾號[python3xxx]中回復 朋友圈 獲取完整代碼！
