1、案例需求：爬取空氣質量數據 URL：https://www.aqistudy.cn/html/city_detail.html 2、分析思路： 1.頁面中是有相關的查詢條件，指定查詢條件后點擊查詢按鈕，就會加載出相關的數據。 查詢的條件： 城市 ...

反爬機制和破解方法匯總 一什么是爬蟲和反爬蟲？ 爬蟲：使用任何技術手段，批量獲取網站信息的一種方式。 反爬蟲：使用任何技術手段，阻止別人批量獲取自己網站信息的一種方式。 二 Headers and referer 反爬機制 *headers進行反爬是最常見的反爬蟲策略 ...

爬蟲獲取數據的這一部分。爬蟲請注意網站的Robot.txt文件，不要讓爬蟲違法，也不要讓爬蟲對網站造成傷 ...

使用selenium模擬瀏覽器進行數據抓取無疑是當下最通用的數據采集方案，它通吃各種數據加載方式，能夠繞過客戶JS加密，繞過爬蟲檢測，繞過簽名機制。它的應用，使得許多網站的反采集策略形同虛設。由於selenium不會在HTTP請求數據中留下指紋，因此無法被網站直接識別和攔截。 這是不是就意味着 ...

爬蟲是一種模擬瀏覽器對網站發起請求，獲取數據的方法。簡單的爬蟲在抓取網站數據的時候，因為對網站訪問過於頻繁，給服務器造成過大的壓力，容易使網站崩潰，因此網站維護者會通過一些手段避免爬蟲的訪問，以下是幾種常見的反爬蟲和反反爬蟲策略 ...

前言 其實有關AES，之前發過一版的博客文章，python爬蟲- js逆向解密之破解AES(CryptoJS)加密的反爬機制 而這次雖然也是AES，但是這次的變化有點大了。 這次的目標對象同樣也是我的老朋友給我的，還是老規矩，地址我不會給出來的 打開網址，界面 ...

發現問題 在一次偶然中，在爬取某個公開網站（非商業型網站）時，老方法，打開調試工具查看請求方式，請求攔截，是否是異步加載，不亦樂乎，當我以為這個網站非常簡單的時候，發現二級網頁的地址和源碼不對應 Ajax異步加載？源碼也是 ...

前言 同上一篇的aes加密一樣，也是偶然發現這個rsa加密的，目標網站我就不說了，保密。 當我發現這個網站是ajax加載時： 我已經習以為常，正在進行爬取時，發現返回為空，我開始用findler抓包，發現它驗證了cookie，然后我帶上 ...