爬蟲之chrome瀏覽器的使用方法


chrome瀏覽器使用方法介紹

1. 新建隱身窗口

 

1.1 為什么需要新建隱身窗口

在打開隱身窗口的時候,第一次請求某個網站是沒有攜帶cookie的,和代碼請求一個網站一樣,不攜帶cookie。這樣就能夠盡可能的理解代碼請求某個網站的結果;除非數據是通過js加載出來的,不然爬蟲請求到的數據和瀏覽器請求的數據大部分時候都是相同的

2. chrome中network的更多功能

 

2.1 Perserve log

默認情況下,頁面發生跳轉之后,之前的請求url地址等信息都會消失,勾選perserve log后之前的請求都會被保留 

 

2.2 filter過濾

在url地址很多的時候,可以在filter中輸入部分url地址,對所有的url地址起到一定的過濾效果,具體位置在上面第二幅圖中的2的位置

2.3 觀察特定種類的請求

在上面第二幅圖中的3的位置,有很多選項,默認是選擇的all,即會觀察到所有種類的請求

很多時候處於自己的目的可以選擇all右邊的其他選項,比如常見的選項:

  • XHR:大部分情況表示ajax請求
  • JS:js請求
  • CSS:css請求

但是很多時候我們並不能保證我們需要的請求是什么類型,特別是我們不清楚一個請求是否為ajax請求的時候,直接選擇all,從前往后觀察即可,其中js,css,圖片等不去觀察即可

不要被瀏覽器中的一堆請求嚇到了,這些請求中除了js,css,圖片的請求外,其他的請求並沒有多少個

2.4 其他方法

1.search all file

2.確定js的位置

3.js中添加斷點

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM