- 有時候我們會遇到這樣一個問題,就是明明xpath解析式是對的,但是卻一直返回空列表的情況,這個時候我們就需要注意我們爬取的網頁是哪種渲染方式,如果是服務器渲染那么通過xpath我們就可以輕松得到想要的內容,但如果是客戶端渲染那么我們將得不到想要的數據,兩者的區別在於前者在網頁源代碼中有相應內容,而后者的網頁源代碼中沒有相應內容。
-
- 例如我們查看淘寶的網頁源代碼,源代碼中並不包含頁面相應內容,這時就不能簡單通過copy相應的xpath路徑提取內容。
-
- 又如牛客網的網頁源代碼,在網頁源代碼中可以找到頁面上的內容,這時可以利用網頁抓包工具(筆記本fn+f12)copy相應的xpath提取
- 后來發現這樣的網站屬於動態加載的網頁,第一次請求到的只是一個網頁HTML框架,數據還沒請求到,所以需要用selenium進行抓取,selenium的介紹在后面的博客也有介紹,歡迎大家一起交流學習!