一直以來,爬蟲似乎都是寫代碼去實現的,今天像大家介紹一下Jmeter如何實現一個網頁爬蟲! 龍淵閣測試開發家園 317765580
Jmeter的爬蟲原理其實很簡單,就是對網頁提交一個請求,然后把返回的所有href提取出來,利用ForEach控制器去實現url遍歷。這樣解釋是不是很清晰?下面就來簡單介紹一下如何操作。
首先我們需要對網頁提交一個請求,就拿騰訊新聞網舉例子吧!我們像騰訊新聞網發起一個請求,觀察一下返回值可以發現中間有很多href標簽+文字標題的url
我們現在需要把這些url提取出來,利用強大的正則表達式!記得匹配數字填-1,意思就是把所有合適的url都取出來 龍淵閣測試開發家園 317765580
a target="_blank" class="linkto" href="http:// *(.*l)"
加一個debug查看一下是否真的取出來了 龍淵閣測試開發家園 317765580
又或者我們在結果里面直接利用正則匹配一下,可以看到很多網頁鏈接都被取出來了 龍淵閣測試開發家園 317765580
接下來我們需要動用到ForEach控制器了,利用這個控制器對所有取出來的url進行遍歷觸發。記得在控制器里面填入變量名稱,也就是剛剛正則表達式里面的變量名
接下來在ForEach控制器下面再添加一個http請求,利用它去執行請求觸發
下面我們可以觀察結果了,見證奇跡的時候到了。觀察結果我們發現所有匹配的url都被觸發了! 龍淵閣測試開發家園 317765580