序
在之前,我寫過一個系列“從零開始搭建一個簡單的ui自動化測試框架(pytest+selenium+allure)”,在這個系列里,主要介紹了如何從零開始去搭建一個可用的自動化工程框架,但是還缺乏了一些細節的補充,例如對於自動化測試而言,如何提高其測試的穩定性?
本篇文章,將會和讀者一起探討這個問題。
裝飾器與出錯重試機制
談到穩定性,不得不說的就是“出錯重試”機制了,在自動化測試中,由於環境一般都是測試環境,經常會有各種各種的抽風情況影響測試結果,這樣就為測試的穩定性帶來了挑戰,畢竟誰也不想自己的腳本一天到晚的出各種未知問題,而往往這種環境的抽風(通常是前端頁面的響應速度和后端接口的響應速度)帶來的影響是暫時的,可能上一秒失敗了,下一秒你再執行又好了,在這種情況下,如果你有一個出錯重試機制,起碼可以在這種暫時性的影響下讓你的腳本安然無恙,下面我們具體的說一下做法。
什么是裝飾器?
因為我們的做法依賴裝飾器,所以在去做之前,先簡單介紹一下裝飾器。
裝飾器,表現形式為,在方法(或者類)的上面加上@xxx這樣的語句,假如我們已經實現了一個裝飾器名叫retry,那么我們想用它就這么用:
@retry def test_login(): print("test") error = 1/0
如果retry實現了出錯再次重試(稍后再說如何實現),那么這么使用的話,就會讓test_login這個case在執行出錯的時候再次執行。
很神奇,讓我們來看看實現retry的代碼:
def retry(func): def warp(): for time in range(3): try: func() except: pass return warp
就結果而言,執行以下代碼:
@retry def test_login(): print("test") error = 1/0 test_login()
和執行:
retry(test_login)()
是等價的,由此我們可以看出,裝飾器其實本質上就是一個函數,這個函數接收其他函數(或者類)作為參數,通過對這個函數(或者類)的調用或者修改,完成不更改原始函數而修改該函數的功能。
在這里還有一個知識點,你有沒有想過,在retry內部的函數warp(),是怎么拿到func這個參數來執行的?執行retry函數return的是warp這個函數,而warp並沒有接受func這個傳參啊。
這就是python里的閉包的概念,閉包就是指運行時自帶上下文的函數,比如這里的warp這個函數,他運行的時候自帶了上層函數retry傳給他的func這個函數,所以才可以在運行時對func進行處理和輸出。
了解了裝飾器和閉包,那么下面就很容易做到對測試用例的出錯重試機制了。
編寫一個出錯重試裝飾器
現在,我們來嘗試自己編寫一個用於測試用例的出錯重試裝飾器,代碼如下:
def retry(times=3,wait_time=10): def warp_func(func): def fild_retry(*args,**kwargs): for time in range(times): try: func(*args,**kwargs) return except: time.sleep(wait_time) return fild_retry return warp_func
這個裝飾器可以通過傳入重試次數(times)和重試等待時間(wait_time),對待測用例實行重試機制。
pytest里的出錯重試機制實現
在測試框架pytest里,已經實現了有關出錯重試的策略,我們首先需要安裝一個此類的插件,在cmd內執行以下命令安裝:
pip install pytest-rerunfailures
如果你需要將此機制應用到所有的用例上,那么請在執行的時候使用如下命令(reruns是重試次數):
pytest --reruns 5
來執行你的用例;
如果你期望加上出錯重試的等待時間,請使用如下命令(reruns-delay是等待時間):
pytest --reruns 5 --reruns-delay 1
來執行你的用例;
如果你只想對某幾個測試用例應用重試策略,你可以使用裝飾器:
@pytest.mark.flaky(reruns=5, reruns_delay=2)
例如:
def retry(times=3,wait_time=10): def warp_func(func): def fild_retry(*args,**kwargs): for time in range(times): try: func(*args,**kwargs) return except: time.sleep(wait_time) return fild_retry return warp_func
更詳細的介紹請參閱官方文檔 。
Allure里的測試用例分層
剛剛我們實現了用例的出錯重試機制,但是這僅僅解決了腳本在不穩定環境下的穩定性;如果還想要腳本變得更加容易維護,除了傳統的po模式使用例和元素分離之外,我們還可以引入測試用例分層機制。
為什么要采用分層機制?
傳統的po模式,僅僅實現了用例和元素分離,這一定層面上保障了用例的可維護性,起碼不必頭疼於元素的變更會讓用例到處失效;但是這還不夠,例如,現在有三個case,他們都包含了以下步驟:登錄、打開工作台、進入個人中心;那么如果不做分層,這三個用例會把這三個步驟都寫一遍,如果某天頁面的變動導致其中一個步驟需要更改,那么你不得不去每個用例里去更新那個步驟。
而如果,我們把用例當做是堆積木,登錄、打開工作台、進入個人中心這三個步驟都只是個積木,那么我們寫用例的時候,只需要在用到這個步驟時,把積木搭上去;如果某一天,其中一個積木的步驟有變動,那么只需要去更改這個積木的內容,而無需在每個使用了這個積木的用例里去改動。
這大大增強了用例的復用性和可維護性,這就是采用分層機制的原因,下面,我會就allure里的分層機制做介紹來討論具體如何實現。
allure的裝飾器@step
在allure里,我們可以通過裝飾器@step完成分層機制,具體的,當你用@step裝飾一個方法時,當你在用例里執行這個方法,會在報告里,表現出這個被裝飾方法;而@step支持嵌套結構,這就意味着,你可以像搭積木一樣去搭你的步驟,而他們都會一一在報告里被展示。
下面直接用allure的官方示例作做舉例:
import allure import pytest from .steps import imported_step @allure.step def passing_step(): pass @allure.step def step_with_nested_steps(): nested_step() @allure.step def nested_step(): nested_step_with_arguments(1, 'abc') @allure.step def nested_step_with_arguments(arg1, arg2): pass def test_with_imported_step(): passing_step() imported_step() def test_with_nested_steps(): passing_step() step_with_nested_steps()
運行這個case后,報告是這樣的:
可以看到,
test_with_nested_steps由passing_step()和step_with_nested_steps()這兩個方法組成;
而step_with_nested_steps()又由nested_step()組成;
nested_step()又由nested_step_with_arguments(1, 'abc')組成;
這樣就像搭積木一樣,組成了測試用例;而在報告里,也層級分明的標識了步驟的嵌套結構。
這樣,我們就可以通過一個又一個@step裝飾的方法,組成測試用例;同時報告里也會支持層級顯示;從而完成我們的分層機制。
從零開始搭建一個簡單的ui自動化測試框架(pytest+selenium+allure) 參考: