爬蟲學習（三）Chrome瀏覽器使用

一、新建隱身窗口

在打開隱身窗口的時候，第一次請求某個網站是沒有攜帶cookie的，和代碼請求一個網站一樣，不攜帶cookie。這樣就能夠盡可能的理解代碼請求某個網站的結果；除非數據是通過js加載出來的，不然爬蟲請求到的數據和瀏覽器請求的數據大部分時候都是相同的。

 

二、Chrome中Network功能

1、Perserve log

默認情況下，頁面發生跳轉之后，之前的請求url地址等信息都會消失，勾選“perserve log”后之前的請求都會被保留。

2、Filter過濾

在url地址很多時，可以輸入url進行過濾

3、觀察特點種類的請求

默認是選擇all，即觀察所有種類請求。

其他選項：

• XHR：大部分情況表示ajax請求。
• JS：js請求。
• CSS：css請求。
• Img：圖片請求。

 

三、找POST請求的URL和要發送的數據

1、通過表單找出POST的URL

• 使用chrome瀏覽器的選擇工具，選擇表單的輸入框，看Elements中的定位的位置，向上找from標簽中的action屬性中的URL。
• 如果沒有action，就說明它是通過js發送的請求，那就監聽它的按鈕點擊事件，找到對應的js。

總結：有form表單, 並且form表單有action屬性。POST請求URL: form表單的action屬性上；POST請求數據: form表單的input標簽的name屬性上。

 

2、使用Network監聽按鈕點擊事件，找出POST的URL

• 點擊chrome瀏覽器的Network
• 勾選Preserve log按鈕，保留頁面跳轉前的請求