解決xpath解析返回空列表的問題


  • 有時候我們會遇到這樣一個問題,就是明明xpath解析式是對的,但是卻一直返回空列表的情況,這個時候我們就需要注意我們爬取的網頁是哪種渲染方式,如果是服務器渲染那么通過xpath我們就可以輕松得到想要的內容,但如果是客戶端渲染那么我們將得不到想要的數據,兩者的區別在於前者在網頁源代碼中有相應內容,而后者的網頁源代碼中沒有相應內容。

 

    • 例如我們查看淘寶的網頁源代碼,源代碼中並不包含頁面相應內容,這時就不能簡單通過copy相應的xpath路徑提取內容。

 

 

    • 又如牛客網的網頁源代碼,在網頁源代碼中可以找到頁面上的內容,這時可以利用網頁抓包工具(筆記本fn+f12)copy相應的xpath提取

 

  • 后來發現這樣的網站屬於動態加載的網頁,第一次請求到的只是一個網頁HTML框架,數據還沒請求到,所以需要用selenium進行抓取,selenium的介紹在后面的博客也有介紹,歡迎大家一起交流學習!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM