Jmeter(十九)_ForEach控制器實現網頁爬蟲


一直以來,爬蟲似乎都是寫代碼去實現的,今天像大家介紹一下Jmeter如何實現一個網頁爬蟲! 龍淵閣測試開發家園 317765580

Jmeter的爬蟲原理其實很簡單,就是對網頁提交一個請求,然后把返回的所有href提取出來,利用ForEach控制器去實現url遍歷。這樣解釋是不是很清晰?下面就來簡單介紹一下如何操作。

首先我們需要對網頁提交一個請求,就拿騰訊新聞網舉例子吧!我們像騰訊新聞網發起一個請求,觀察一下返回值可以發現中間有很多href標簽+文字標題的url

我們現在需要把這些url提取出來,利用強大的正則表達式!記得匹配數字填-1,意思就是把所有合適的url都取出來  龍淵閣測試開發家園 317765580

a target="_blank" class="linkto" href="http:// *(.*l)"

加一個debug查看一下是否真的取出來了 龍淵閣測試開發家園 317765580

又或者我們在結果里面直接利用正則匹配一下,可以看到很多網頁鏈接都被取出來了 龍淵閣測試開發家園 317765580

接下來我們需要動用到ForEach控制器了,利用這個控制器對所有取出來的url進行遍歷觸發。記得在控制器里面填入變量名稱,也就是剛剛正則表達式里面的變量名

接下來在ForEach控制器下面再添加一個http請求,利用它去執行請求觸發

下面我們可以觀察結果了,見證奇跡的時候到了。觀察結果我們發現所有匹配的url都被觸發了! 龍淵閣測試開發家園 317765580

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM