以前洪雨寫微信公眾號采集，都是用腳本的形式。
原理打開微信pc端，打開目標公眾號的歷史文章頁面，拖動頁面加載文章，然后右鍵獲取源碼，通過源碼進行采集。
為什么這樣做？
是因為微信可以打開公眾號文章頁面，但是不讓別的瀏覽器直接打開公眾號的歷史頁面。你就無法批量采集文章鏈接。只好出此下策。
為什么不直接采集搜狗，因為搜狗資源不全，而且搜狗也不讓你多采集，需要加代理……
昨天打開軟件測試了一下，發現不好用了。
為什么？
微信更新了，程序自帶的瀏覽器，無法右鍵獲取源碼了……
於是上網找辦法，看到知乎有人說了個思路。說，抓包微信的瀏覽器，然后模擬他的協議頭，看能不能打開那種不讓別的瀏覽器運行的頁面。
昨天咬牙拿出一小時初學了一下fiddler抓包，果然抓到了微信公眾號的鏈接。
本着嘗試的心態，讀取了一下源碼，發現果然不行。然后附加協議頭，發現還是不行，然后又附加了cook。好家伙，這么簡單，居然成功了。
嘗試拖動頁面加載頁面，發現又抓到包了，只要變動一下參數就能獲取全部的文章鏈接。
剩下的就是把源碼json解析一下就行了。
一切就這么順利，我自己也沒想到。原來fiddler這么強大！
中間雖然也有一些波折，比如抓https要裝證書啥的這里就不記錄。
說說采集公眾號的重點，1.抓到包很容易，關鍵是如何獲得參數組裝鏈接。2.如何獲取cook我沒有研究，后面待學習。3.抓取頻率太快會有封號風險！
fiddler如果玩的熟練，真的可以月入過萬。
但是，有一道所有做爬蟲的人都必須過的坎，那就是js解密，一定要會。否則永遠都是二流選手。一旦搞定，真正邁入高手行列，薪資都是萬起步。
原文轉載自：http://www.zhizhuowz.com/post-687.html