爬蟲之 App 爬取

- 移動端數據的爬取
- 抓包工具：
- fiddler
- 青花瓷
- miteproxy

- 環境的搭建
1.對fiddler進行配置：tools-》options-》connections->Allow remote cooxxx->設定一個端口
2.測試端口是否可用：在pc瀏覽器中訪問localhost:8886
3.pc開啟一個熱點，讓手機去連接（保證了手機和fiddler所在的pc是在同一網段下）
4.在手機上訪問localhost:8886進行證書的安裝且信任
5.在手機中設置代理
- 手機連接的wifi中設定代理ip和端口（都是基於fiddler）

import requests
# headers = {
# #     'User-Agent':'qu tou tiao/3.6.1 (iPhone; iOS 12.3.1; Scale/3.00)/qukan_ios'
# # }
# # url = 'https://api.1sapp.com/content/getListV2?qdata=NTRGQzhENkZFMUE1M0I2NkM0QzU2MjZGOEQ3NjI1RkQuY0dGeVlXMGZPRVEyTTBaRFJVTXRRalE0TlMwME1qVkdMVGswUmtNdFEwVkVOemt4TlVRM09ETTJIblpsY25OcGIyNGZOaDV3YkdGMFptOXliUjlwYjNNZVpXTWZNUT09LtagD4vABRxcsa6fa7qpeSB5kCo897LVZGyk2MyKfjIoRx0c9SbUZYexOhselSV%2BhoaUc/BpFA764n5CPUQajjBkMtkiUyhnw9JMPLBL7yfzwHlqwoBf2b%2BqG%2BfJgeug73zQATh9Gm5HaQZcuMV6M2mehrfdVi3hFwSyCVtun8zAqlDpP8hSBrjfiJf8v5%2BqDJzJo9zW8k2dX%2B%2B/o30iwq/Cy2FXeqz8izPZXQO5%2BLDLXmYCKplQzRYT51GIQzIybsgg/sb/as5aziAwV95SpihCfwh1I0c86pOAs5egm93wR3%2Bt/p/PIaubhxsIrA9SFpxkBULVx48Rj/C997VsBbYD7gsNsLtnAqb14V1ZEa1P8OA3yXxW9Hn7C87IVXfm24NBZoZyA6kDh2OP0jP1bItQciJuCAd9mODlSmwxVthrf6iY/PZcl9G4P13%2B1PfCz32kSDItFxLIrtYk%2BOfgjaC3ct9EzjMTEY7SjM0jKQ8lFSEj6cbmZGZIIJcNiSLnokFHAaVDTygfcvmjqrifhYc7pQzzEfqrkPNycl3SC36XU2v16uA5brE4vOUdx2AS2mD%2BH5BGQJOgPgvK6FuFjOaHW1nt9XQCAhwCF4QPSO11z6QyQo0mEbsTeWhvVmnN1BCgOlOI985qquH1nRL/3XGyIK%2B36E2icJZcJxMwi1QM%2BReUsbBLkzX3mYq/hGWeG7nvJUwEI5jhmM1tvI3QRiFK%2B1Zn1DIQVnYOEc8PJwR0rleY8mNDxDZSjJL8kiXlbUUH%2Bg%3D%3D'
# #
# # #ERROR:ssl
# # #verify=False可以忽略證書錯誤
# # json_data = requests.get(url=url,headers=headers,verify=False).json()
# # print(json_data)

#爬取抖音短視頻:滑動到某一個視頻，然后進入該視頻作者的主頁，抓取主頁中所有的視頻數據
#1.在fillder中需要捕獲到api.amemv開頭的數據包，（提取url然后將fiddler中所有的請求頭信息進行攜帶然后對該url進行請求發送）這個數據包響應回來的是一組json數據，在json數據中以v9為關鍵字進行搜索，只要攜帶v9的url都是你要爬取的視頻對應的url