知識背景： beautifulsoup：是一款非常強大的工具，爬蟲利器。“美味的湯，綠色的濃湯”。一個靈活又方便的網頁解析庫，處理高效，支持多種解析器。 利用它就不用編寫正則表達式也能方便的 ...

1、案例需求：爬取空氣質量數據 URL：https://www.aqistudy.cn/html/city_detail.html 2、分析思路： 1.頁面中是有相關的查詢條件，指定查詢條件后點擊查詢按鈕，就會加載出相關的數據。 查詢的條件： 城市 ...

有個需求爬取知乎文章，正好記錄下爬取過程以及出現問題並解決方法 我是在沒有登錄的情況下爬取文章的 本文僅供研究與學習使用 知乎現今的 x-zse 參數的加密方法已升級成了：x-zse-96 2.0版本。 來看這篇帖子的應該都知道，這個參數動態唯一，沒有就拿不到api數據。 查閱了網上有關文章 ...

前言 其實有關AES，之前發過一版的博客文章，python爬蟲- js逆向解密之破解AES(CryptoJS)加密的反爬機制 而這次雖然也是AES，但是這次的變化有點大了。 這次的目標對象同樣也是我的老朋友給我的，還是老規矩，地址我不會給出來的 打開網址，界面 ...

發現問題 在一次偶然中，在爬取某個公開網站（非商業型網站）時，老方法，打開調試工具查看請求方式，請求攔截，是否是異步加載，不亦樂乎，當我以為這個網站非常簡單的時候，發現二級網頁的地址和源碼不對應 Ajax異步加載？源碼也是 ...

前言 同上一篇的aes加密一樣，也是偶然發現這個rsa加密的，目標網站我就不說了，保密。 當我發現這個網站是ajax加載時： 我已經習以為常，正在進行爬取時，發現返回為空，我開始用findler抓包，發現它驗證了cookie，然后我帶上 ...

一、雪碧圖 1.前言 　　我們都知道，HTTP 協議即超文本傳輸協議，是 Web 應用的基礎，HTTP 協議又是基於 TCP 協議的，而 TCP 連接的建立是需要時間和資源的。當網頁加載時，會需要下載圖片資源，如果有非常多的小圖片，就需要建立很多 TCP 連接。 　　但勤勞勇敢的前端工作者 ...

接口直接返回的是json數據格式，那就不用去findall各種class了直接處理json數據保存即可 Request URL: https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid ...