Jmeter(四十一)_圖片爬蟲


今天教大家用元件組合,做一個網頁圖片爬蟲。

需要用到的元件:循環控制器+計數器+xpath提前器+函數嵌套+beanshell代碼

首先我們確定一下要爬取的圖片網站:https://dp.pconline.com.cn/list/all_t5.html

通過F12觀察一下他的html代碼,發現這些圖片都是通過href鏈接跳轉之后,訪問的src圖片

那么我們可以考慮先對網站發起請求,通過xpath表達式提取到圖片的src,也就是圖片的訪問鏈接

然后再通過xpath提取出這些圖片的標題

因為考慮到每一組圖片和標題都是一一對應的,因此這里提取出來的匹配數字也可以認為是一一對應。

在dubug中我們可以看到,url和標題都提取了50個,且一一對應。

 

下面我們添加一個循環控制器,循環次數就是debug中的matchNr

在循環控制器中添加一個計數器,用來計算需要執行爬取的次數

 

添加一個http請求,在循環控制器下,循環對debug中獲取到的url發起請求,同時遍歷寫入圖片標題

每一次發起請求之后,都把請求獲取的圖片通過代碼寫入本地,同時遍歷寫入圖片名稱

執行腳本觀察響應結果,觀察本地文件寫入結果

 

 

友情提示:這一套爬蟲腳本,摒棄了以往通過foreach控制器遍歷進行爬蟲的方法。轉而通過函數嵌套的方式,同步遍歷多個參數進行文件寫入。難點就在於函數嵌套遍歷的理解和xpath元素定位,希望大家好好研究,有問題可以和我進行探討!

點擊這里,加入QQ群

可以添加微信:14751700162
或者聯系QQ:1144890271

只需要分享博客任意兩篇文章,截圖通過以上任意方式聯系,即可獲取最新編寫的《jmeter接口自動化與性能測試實戰試讀版》

掃描二維碼關注我們的公眾號,隨時獲取最新文章

我們專注於jmeter的接口自動化和性能專題研究,如果您在學習過程中遇到了難題,請及時聯系我們,將給您一個滿意的答案!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM