之前一直在糾結怎么繞過,知道看到這位大佬寫的,閱讀數少的可憐,轉載一下讓更多人看到
https://www.cnblogs.com/presleyren/p/12936553.html
但是大佬的這個方法還是存在一些問題的
我測試了一下其實網站后台可能還是會將你識別為爬蟲導致一些翻頁操作無法執行,或者執行后不產生任何變化,這多半還是被識別出來了,或者后台識別不到游覽器就認定爬蟲
對大佬的代碼做上一些修改
browser = webdriver.Chrome()#options=options browser.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", { "source": """ Object.defineProperty(navigator, 'webdriver', { get: () => Chrome }) """ })
我們將get:()=>后改為Chrome這樣可以規避跟多的檢測,實測有效,可以規避更多的檢測
前提是用Chrome