mitmdump 詳解(3)

一 什么是mitmproxy 抓包工具

 

2 mitmproxy抓包工具介紹

 

 

pip install mitmproxy

 

檢測是否安裝成功

mitmproxy --version

 

默認監聽 8080端口,使用 -p 指定端口

 

3 下載證書

 

 linux 中操作

mitmproxy

tab 切換顯示頁面

esc +q  返回

上下移動

 

windows 端口8080端口

使用命令 mitmdump或者mitmweb

把代理日志寫入文件

mitmdump -w text.txt 輸出文件名

 

 

mitmweb

 

 

 

4 mitmproxy數據過濾 

命令行中輸入f

 

斷點攔截

命令行輸入i,編寫攔截規則

 

選擇數據包,回車

 

輸入e進入修改,tab切換到response.

 

 

q 返回

輸入a繼續訪問.

 

5 使用mitmproxy中間人代理,爬取數據,入庫

請求攔截函數名:

def request(flow):
    pass

 

響應攔截:

def responset(flow):
    // flow 表示數據流
    pass

 

實例代碼

import json
from handle_db import mongo_info #引入數據庫


def response(flow):
    if 'aweme/v1/user/follower/list/' in flow.request.url:
        // 如果請求的url中包含了
        # 'aweme/v1/user/follower/list/', 則攔截
        for user in json.loads(flow.response.text)['followers']:
            douyin_info={}
            douyin_info['share_id']=user['uid']
            douyin_info['douyin_id']=user['short_id']
            douyin_info['nickname']=user['nickname']
            mongo_info.save_task(douyin_info)

 

推薦文章

https://juejin.im/post/5ac9ea6d518825364001b5b9