今天教大家用元件組合,做一個網頁圖片爬蟲。
需要用到的元件:循環控制器+計數器+xpath提前器+函數嵌套+beanshell代碼
首先我們確定一下要爬取的圖片網站:https://dp.pconline.com.cn/list/all_t5.html
通過F12觀察一下他的html代碼,發現這些圖片都是通過href鏈接跳轉之后,訪問的src圖片
那么我們可以考慮先對網站發起請求,通過xpath表達式提取到圖片的src,也就是圖片的訪問鏈接
然后再通過xpath提取出這些圖片的標題
因為考慮到每一組圖片和標題都是一一對應的,因此這里提取出來的匹配數字也可以認為是一一對應。
在dubug中我們可以看到,url和標題都提取了50個,且一一對應。
下面我們添加一個循環控制器,循環次數就是debug中的matchNr
在循環控制器中添加一個計數器,用來計算需要執行爬取的次數
添加一個http請求,在循環控制器下,循環對debug中獲取到的url發起請求,同時遍歷寫入圖片標題
每一次發起請求之后,都把請求獲取的圖片通過代碼寫入本地,同時遍歷寫入圖片名稱
執行腳本觀察響應結果,觀察本地文件寫入結果
友情提示:這一套爬蟲腳本,摒棄了以往通過foreach控制器遍歷進行爬蟲的方法。轉而通過函數嵌套的方式,同步遍歷多個參數進行文件寫入。難點就在於函數嵌套遍歷的理解和xpath元素定位,希望大家好好研究,有問題可以和我進行探討!
可以添加微信:14751700162
或者聯系QQ:1144890271
只需要分享博客任意兩篇文章,截圖通過以上任意方式聯系,即可獲取最新編寫的《jmeter接口自動化與性能測試實戰試讀版》
掃描二維碼關注我們的公眾號,隨時獲取最新文章
我們專注於jmeter的接口自動化和性能專題研究,如果您在學習過程中遇到了難題,請及時聯系我們,將給您一個滿意的答案!