python爬取微信公眾號

爬取策略

1.需要安裝python selenium模塊包，通過selenium中的webdriver驅動瀏覽器獲取Cookie的方法、來達到登錄的效果

pip3 install selenium

chromedriver：

下載地址：http://chromedriver.storage.googleapis.com/index.html

chromedriver與chrome的對應關系表

http://blog.csdn.net/huilan_same/article/details/51896672

2.微信公眾號登陸地址：https://mp.weixin.qq.com/ ，需要在https://mp.weixin.qq.com/注冊一個賬戶用於登錄
3.微信公眾號文章接口地址可以在微信公眾號后台中新建圖文消息，超鏈接功能中獲取：

 

 

 

 

 

 

 

 

4. 搜索公眾號名稱

 

 

搜索可以獲取所有相關的公眾號信息，只取第一個做測試

獲取要爬取的公眾號的fakeid

 

選定要爬取的公眾號，獲取文章接口地址

 

 文章列表翻頁及內容獲取

 

 

爬取代碼

from selenium import webdriver
import time
import json
import random
import requests
import re

account_name = "xx"
password = "xx"
# 登錄微信公眾號，獲取登錄之后的cookies信息，並保存到本地文本中


def wechat_login():

    # 用webdriver啟動谷歌瀏覽器
    print("啟動瀏覽器，打開微信公眾號登錄界面")

    driver = webdriver.Chrome()
    driver.get("https://mp.weixin.qq.com/")
    time.sleep(2)
    print("正在輸入微信公眾號登錄賬號和密碼......")
    # 清空賬號框中的內容
    driver.find_element_by_name("account").clear()
    
  driver.find_element_by_name("account").send_keys(account_name)
    time.sleep(1)
    driver.find_element_by_name("password").clear()
    driver.find_element_by_name("password").send_keys(password)
    time.sleep(1)
    # 在自動輸完密碼之后需要手動點一下記住我
    print("請在登錄界面點擊:記住賬號")
    driver.find_element_by_class_name("frm_checkbox_label").click()
    time.sleep(5)
    # 自動點擊登錄按鈕進行登錄
    driver.find_element_by_class_name("btn_login").click()
    # 拿手機掃二維碼！
    print("請拿手機掃碼二維碼登錄公眾號")
    time.sleep(20)
    print("登錄成功")
    cookies = driver.get_cookies()
    # 獲取cookies
    cookie_items = driver.get_cookies()
    post = {}
    # 獲取到的cookies是列表形式，將cookies轉成json形式並存入本地名為cookie的文本中
    for cookie_item in cookie_items:
        post[cookie_item['name']] = cookie_item['value']
    cookie_str = json.dumps(post)
    with open('cookie.txt', 'w+', encoding='utf-8') as f:
        f.write(cookie_str)
    print("cookies信息已保存到本地")
    driver.quit()

# 爬取微信公眾號文章，並存在本地文本中


def get_content(query):
    # query為要爬取的公眾號名稱
    # 公眾號主頁
    url = 'https://mp.weixin.qq.com'

    # 設置headers
    header = {
        "HOST": "mp.weixin.qq.com",
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"

    }
    from requests.packages import urllib3
    urllib3.disable_warnings()  # 關閉警告

    # 讀取上一步獲取到的cookies
    with open('cookie.txt', 'r', encoding='utf-8') as f:
        cookie = f.read()
    cookies = json.loads(cookie)
    # 增加重試連接次數
    session = requests.Session()
    session.keep_alive = False
    # 增加重試連接次數
    session.adapters.DEFAULT_RETRIES = 511
    time.sleep(5)

    # 登錄之后的微信公眾號首頁url變化為：https://mp.weixin.qq.com/cgi-bin/home?t=home/index&lang=zh_CN&token=1849751598，從這里獲取token信息
    response = session.get(url=url, cookies=cookies, verify=False)

    token = re.findall(r'token=(\d+)', str(response.url))[0]
    time.sleep(2)
    # 搜索微信公眾號的接口地址
    search_url = 'https://mp.weixin.qq.com/cgi-bin/searchbiz?'
    # 搜索微信公眾號接口需要傳入的參數，有三個變量：微信公眾號token、隨機數random、搜索的微信公眾號名字
    query_id = {
        'action': 'search_biz',
        'token': token,
        'lang': 'zh_CN',
        'f': 'json',
        'ajax': '1',
        'random': random.random(),
        'query': query,
        'begin': '0',
        'count': '5'
    }
    # 打開搜索微信公眾號接口地址，需要傳入相關參數信息如：cookies、params、headers
    search_response = session.get(
        search_url,
        cookies=cookies,
        headers=header,
        params=query_id)
    # 取搜索結果中的第一個公眾號
    lists = search_response.json().get('list')[0]
    print(lists)
    # 獲取這個公眾號的fakeid，后面爬取公眾號文章需要此字段
    fakeid = lists.get('fakeid')

    # 微信公眾號文章接口地址
    appmsg_url = 'https://mp.weixin.qq.com/cgi-bin/appmsg?'
    # 搜索文章需要傳入幾個參數：登錄的公眾號token、要爬取文章的公眾號fakeid、隨機數random
    query_id_data = {
        'token': token,
        'lang': 'zh_CN',
        'f': 'json',
        'ajax': '1',
        'random': random.random(),
        'action': 'list_ex',
        'begin': '0',  # 不同頁，此參數變化，變化規則為每頁加5
        'count': '5',
        'query': '',
        'fakeid': fakeid,
        'type': '9'
    }
    # 打開搜索的微信公眾號文章列表頁
    appmsg_response = session.get(
        appmsg_url,
        cookies=cookies,
        headers=header,
        params=query_id_data)
    # 獲取文章總數
    max_num = appmsg_response.json().get('app_msg_cnt')
    # 每頁至少有5條，獲取文章總的頁數，爬取時需要分頁爬
    num = int(int(max_num) / 5)
    # 起始頁begin參數，往后每頁加5
    begin = 0
    seq = 0
    while num + 1 > 0:
        query_id_data = {
            'token': token,
            'lang': 'zh_CN',
            'f': 'json',
            'ajax': '1',
            'random': random.random(),
            'action': 'list_ex',
            'begin': '{}'.format(str(begin)),
            'count': '5',
            'query': '',
            'fakeid': fakeid,
            'type': '9'
        }
        print('正在翻頁：--------------', begin)
        time.sleep(5)

        # 獲取每一頁文章的標題和鏈接地址，並寫入本地文本中
        query_fakeid_response = requests.get(
            appmsg_url,
            cookies=cookies,
            headers=header,
            params=query_id_data)
        fakeid_list = query_fakeid_response.json().get('app_msg_list')
        if fakeid_list:
            for item in fakeid_list:
                content_link = item.get('link')
                content_title = item.get('title')
                fileName = query + '.txt'
                seq += 1
                with open(fileName, 'a', encoding='utf-8') as fh:
                    fh.write(
                        str(seq) +
                        "|" +
                        content_title +
                        "|" +
                        content_link +
                        "\n")
        num -= 1
        begin = int(begin)
        begin += 5


if __name__ == '__main__':

        # 登錄微信公眾號，獲取登錄之后的cookies信息，並保存到本地文本中
    wechat_login()
    query = "XXX"
    print("開始爬取公眾號：" + query)
    get_content(query)
    print("爬取完成")
    # #登錄之后，通過微信公眾號后台提供的微信公眾號文章接口爬取文章
    # for query in gzlist:
    #     #爬取微信公眾號文章，並存在本地文本中
    #     print("開始爬取公眾號："+query)
    #     get_content(query)
    #     print("爬取完成")