java爬蟲(六)分析AJAX接口獲取網頁動態內容


1.實現原理

 

2.詳細過程

這里我們直接觀察審查元素(檢查)中的內容來判斷接口

 

 


這里我選取了一個動態網頁的查看更多,直接點擊在這里插入圖片描述
然后觀察network選項卡的變化
在這里插入圖片描述
這里可以看到網頁在無刷新的狀態下,通過查看更多加載了很多圖片資源,其中第一個文件,查看一下它的Preview選項卡,可以看到這個文件是存儲json的

 

 


然后通過Headers選項卡,我們可以看到它請求的URL,
 問題來了:訪問這個鏈接報錯

 

有一個困惑:從父目錄中點擊按鈕訪問某個頁面可以產生信息。但是把這個鏈接單獨拿出來在瀏覽器中訪問就會報錯如下圖

 

 

 

 

 


這樣我們可以遵循鏈接的規則,去做一下簡單的請求在這里插入圖片描述
既然數據被爬取下來了,我們就可以通過操作json的方法,去操作請求下來的數據,非常方便。
操作json文件

 

 

 

 

https://www.pianshen.com/article/9318874742/

參考 :https://blog.csdn.net/qq_41506882/article/details/104354521


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM