Pytest系列（16）- 分布式測試插件之pytest-xdist的詳細使用

如果你還想從頭學起Pytest，可以看看這個系列的文章哦！

https://www.cnblogs.com/poloyy/category/1690628.html

 

前言

• 平常我們功能測試用例非常多時，比如有1千條用例，假設每個用例執行需要1分鍾，如果單個測試人員執行需要1000分鍾才能跑完
• 當項目非常緊急時，會需要協調多個測試資源來把任務分成兩部分，於是執行時間縮短一半，如果有10個小伙伴，那么執行時間就會變成十分之一，大大節省了測試時間
• 為了節省項目測試時間，10個測試同時並行測試，這就是一種分布式場景
• 同樣道理，當我們自動化測試用例非常多的時候， 一條條按順序執行會非常慢，pytest-xdist的出現就是為了讓自動化測試用例可以分布式執行，從而節省自動化測試時間
• pytest-xdist是屬於進程級別的並發

 

分布式執行用例的設計原則（重中之重的重點）

• 用例之間是獨立的，用例之間沒有依賴關系，用例可以完全獨立運行【獨立運行】
• 用例執行沒有順序，隨機順序都能正常執行【隨機執行】
• 每個用例都能重復運行，運行結果不會影響其他用例【不影響其他用例】

 

插件安裝

pip3 install pytest-xdist -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

 

pytest-xdist通過一些獨特的測試執行模式擴展了pytest

• 測試運行並行化：如果有多個CPU或主機，則可以將它們用於組合的測試運行。 這樣可以加快開發速度或使用遠程計算機的特殊資源。
• --looponfail：在子進程中重復運行測試。 每次運行之后，pytest都會等到項目中的文件更改后再運行之前失敗的測試。 重復此過程，直到所有測試通過，然后再次執行完整運行。
• 跨平台覆蓋：您可以指定不同的Python解釋程序或不同的平台，並在所有這些平台上並行運行測試。

  

快速入門

這是運行代碼的包結構

14xdist是項目文件夾名稱
│  conftest.py
│  test_1.py
│  __init__.py
│              
├─test_51job
│  │  conftest.py
│  │  test_case1.py
│  │  __init__.py 
│          
├─test_toutiao
│  │  test_case2.py
│
├─test_weibo
│  │  conftest.py
│  │  test_case3.py
│  │  __init__.py 
│          

具體代碼

最外層的conftest.py

# 外層conftest.py

@pytest.fixture(scope="session")
def login():
    print("====登錄功能，返回賬號，token===")
    name = "testyy"
    token = "npoi213bn4"
    yield name, token
    print("====退出登錄！！！====")

 

最外層的test_1.py

import pytest


@pytest.mark.parametrize("n", list(range(5)))
def test_get_info(login, n):
    sleep(1)
    name, token = login
    print("***基礎用例：獲取用戶個人信息***", n)
    print(f"用戶名:{name}, token:{token}")

 

test_51job包下的conftest.py

import pytest


@pytest.fixture(scope="module")
def open_51(login):
    name, token = login
    print(f"###用戶 {name} 打開51job網站###")

 

test_51job包下的test_case1.py

from time import sleep

import pytest


@pytest.mark.parametrize("n", list(range(5)))
def test_case2_01(open_51, n):
    sleep(1)
    print("51job，列出所有職位用例", n)


@pytest.mark.parametrize("n", list(range(5)))
def test_case2_02(open_51, n):
    sleep(1)
    print("51job，找出所有python崗位", n)

 

test_toutiao包下的test_case2.py

from time import sleep

import pytest


@pytest.mark.parametrize("n", list(range(5)))
def test_no_fixture(login, n):
    sleep(1)
    print("==沒有__init__測試用例，我進入頭條了==", login)

 

test_weibo包下的conftest.py

import pytest


@pytest.fixture(scope="function")
def open_weibo(login):
    name, token = login
    print(f"&&& 用戶 {name} 返回微博首頁 &&&")

 

test_weibo包下的test_case3.py

from time import sleep

import pytest


@pytest.mark.parametrize("n", list(range(5)))
class TestWeibo:
    def test_case1_01(self, open_weibo, n):
        sleep(1)
        print("查看微博熱搜", n)

    def test_case1_02(self, open_weibo, n):
        sleep(1)
        print("查看微博范冰冰", n)

 

不使用分布式測試的命令和所需執行時間

pytest -s

 

可以看到，執行一條用例大概1s（因為每個用例都加了 sleep(1) ），一共30條用例，總共運行30s；那么如果有1000條用例，執行時間就真的是1000s

 

使用分布式測試的命令和所需執行時間

pytest -s -n auto

 

知識點

• 可以看到，最終運行時間只需要6s，我的電腦是真6核，假12核
• -n auto：可以自動檢測到系統的CPU核數；從測試結果來看，檢測到的是邏輯處理器的數量，即假12核
• 使用auto等於利用了所有CPU來跑用例，此時CPU占用率會特別高

 

可以指定需要多少個CPU來跑用例

pytest -s -n 2

 

pytest-xdist是可以和pytest-html很好的相結合

pytest -s -n auto --html=report.html --self-contained-html

 

pytest-xdist按照一定的順序執行

 pytest-xdist默認是無序執行的，可以通過 --dist 參數來控制順序

 --dist=loadscope 

• 將按照同一個模塊module下的函數和同一個測試類class下的方法來分組，然后將每個測試組發給可以執行的worker，確保同一個組的測試用例在同一個進程中執行
• 目前無法自定義分組，按類class分組優先於按模塊module分組

 

 --dist=loadfile 

按照同一個文件名來分組，然后將每個測試組發給可以執行的worker，確保同一個組的測試用例在同一個進程中執行

 

如何讓scope=session的fixture在test session中僅僅執行一次

pytest-xdist是讓每個worker進程執行屬於自己的測試用例集下的所有測試用例

這意味着在不同進程中，不同的測試用例可能會調用同一個scope范圍級別較高（例如session）的fixture，該fixture則會被執行多次，這不符合scope=session的預期

 

如何解決？

雖然pytest-xdist沒有內置的支持來確保會話范圍的夾具僅執行一次，但是可以通過使用鎖定文件進行進程間通信來實現。

 

小栗子

1. 下面的示例只需要執行一次login（因為它是只需要執行一次來定義配置選項，等等）
2. 當第一次請求這個fixture時，則會利用FileLock僅產生一次fixture數據
3. 當其他進程再次請求這個fixture時，則會從文件中讀取數據

import pytest
from filelock import FileLock


@pytest.fixture(scope="session")
def login():
    print("====登錄功能，返回賬號，token===")
    with FileLock("session.lock"):
        name = "testyy"
        token = "npoi213bn4"
        # web ui自動化
        # 聲明一個driver，再返回

        # 接口自動化
        # 發起一個登錄請求，將token返回都可以這樣寫

    yield name, token
    print("====退出登錄！！！====")