Jmeter(三十五)_精確實現網頁爬蟲


Jmeter實現了一個網站文章的爬蟲,可以把所有文章分類保存到本地文件中,並以文章標題命名

它原理就是對網頁提交一個請求,然后把返回的所有值提取出來,利用ForEach控制器去實現遍歷。下面來介紹一下如何操作。

首先我們需要對網頁提交一個請求。我們對一個站點發起一個請求,觀察一下返回值可以發現中間有很多中文title,這些title都是href標簽,他們作為超鏈接可以跳轉到正文

 

我們用xpath提取器獲取這些href的title,並且用-1提取全部

 

 

用foreach控制器遍歷提取的title,並傳參

 

 

 

通過beanshell腳本將遍歷提取的title保存到本地文件,文件保存為title.csv

 

 

用matchNr函數獲取返回的title總數,作為后續csv提取器的循環次數

 

 

 

在循環控制器下,用csv提取器從之前保存到本地的title.csv中循環讀取title,並作為參數傳遞到后續接口的url中

 

 

 

循環控制器下,通過csv傳參,循環觸發url

 

 

 

循環觸發url之后,用xpath表達式從url中提取出文本,傳遞變量為text

 

 

 

循環控制器下,通過foreach控制器遍歷之前的提取的text,保存到本地文件。文件名用遍歷獲取的title依次命名創建

 

 

 

注:難點在於,需要按照超鏈接的標題創建本地文件,並把超鏈接之后的文本正確保存到文件之中

 

 

 

你還在為找不到可練習的接口而煩惱嗎?現在加入龍淵閣,我們手把手教你搭建屬於自己的接口測試環境!

點擊這里進入史上最具活力的測試交流平台


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM