動態加載網頁的爬取總結

# 動態加載網頁的爬取
ajax的介紹
ajax全稱'Asynchronous Javascript And XML'(異步JavaScript和XML)
是指一種創建交互式網頁應用的網頁開發技術
通過在后台與服務器進行少量數據交換,ajax可以使網頁實現異步更新
這意味着可以在不重新加載整個網頁的情況下,對網頁的某部分進行更新

ajax的網頁特點
1:網頁加載速度快
2:不刷新網頁就能更新信息
3:最重要的:源代碼的內容與網頁的內容不同

從js文件讀取內容
1:審查元素列出js文件
2:尋找可疑文件
3:解析js文件內容

構造目標地址方法有三種
1: 根據規律構造.如頁數,每頁的個數,其實數
2: 來自某一個文件的一個組成元素, 在第一個文件里找到第二個文件需要的元素,常見於id,cid,vid 等
3: 手動生成, 常見的有時間戳:time.time()