反爬概述 網絡爬蟲，是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。 但是當網絡爬蟲被濫用后，互聯網上就出現太多同質的東西，原創得不到保護。 於是，很多網站開始反網絡爬蟲,想方設法保護自己的內容。 他們根據ip訪問頻率，瀏覽網頁速度，賬戶登錄，輸入驗證碼 ...

爬蟲與反爬 爬蟲：自動獲取網站數據的程序，關鍵是批量的獲取。 反爬蟲：使用技術手段防止爬蟲程序的方法 誤傷：反爬技術將普通用戶識別為爬蟲，從而限制其訪問，如果誤傷過高，反爬效果再好也不能使用（例如封ip，只會限制ip在某段時間內不能訪問） 成本：反爬蟲需要的人力和機器成本 攔截：成功攔截 ...

爬取一些網站的信息時，偶爾會碰到這樣一種情況：網頁瀏覽顯示是正常的，用python爬取下來是亂碼，F12用開發者模式查看網頁源代碼也是亂碼。這種一般是網站設置了字體反爬 一、58同城 用谷歌瀏覽器打開58同城：https://sz.58.com/chuzu/，按F12用開發者模式查看網頁源代碼 ...

圖片懶加載 如何實現圖片懶加載技術 案例 爬取站長之家的圖片素材 分析: 正常訪問時: 這樣直接寫xpath表達式定位標簽的話獲取的值為空 當圖片出現到頁面的可視化區域中，會動態將偽屬性替換成src屬性，完成圖片的加載。通過js來完成對圖片屬性的替換 ...

1、下載安裝包 pip install fontTools 2、下載查看工具FontCreator 百度后一路傻瓜式安裝即可 3、反爬蟲機制 網頁上看見的 后台源代碼里面的 從上面可以看出，生這個字變成了亂碼，請大家特別注意箭頭所指的數字。 3、解決 1、確定反爬 ...

前面有一兩篇博文介紹過frida，對於做安全和逆向的朋友來說，那簡直就是象棋里“車”的存在，走哪殺哪，所以這也對做安全的人來說，肯定也會針對frida做一定的反制，以下就是轉載的檢測frida的方法， ...

# ajax動態加載網頁 # 怎樣判斷一個網頁是不是動態加載的呢？ # 查看網頁源代碼，如果源碼中沒有你要的數據，嘗試訪問下一頁，當你點擊下一頁的時候，整個頁面沒有刷新， 只是局部刷新了，很大的可能是ajax加載 # 遇到ajax加載，一般的解決步驟就，通過瀏覽器或者軟件抓包分析響應的請求 ...

Cookies的處理 作用 在爬蟲中如果遇到了cookie的反爬如何處理? 案例 爬取雪球網中的新聞資訊數據:https://xueqiu.com/ ...