自動化測試：behave

在系統開發過程中，我們一般個人參與的開發都是局部的，自己負責的一部分與其它團隊成員的成果組合在一起才能實現用戶的完整行為。比如常見的電商系統就有幾個主要的流程

• 商品搜索
• 購物車
• 訂單
• 支付
• 物流

這些模塊復雜的足以形成各自的團隊，不同團隊相互之間依據一定的接口來配合協作。在開發階段可以基於接口各自獨立開發，對於依賴其它模塊的接口可以通過接口mock來完成。但mock方式本身是有使用場景的，一旦依賴方接口穩定后，就會調用實際服務來代替mock接口。

場景A： 在上面提到的購物流程都完善的前提下，一個做物流系統的同事需要真實模似真實的用戶場景產生物流單，他需要去相應的環境進行商品搜索，加入購物車，登錄，下單，付款等眾多操作之后才會輪到他的模塊登場。想想都是件相當繁瑣的事情，所以希望有一種很快捷的方式代替人工去完成這些復雜且花時間的體力勞動。當然你也可以找測試妹子說：那個誰，幫我在某某環境下一個單我測試物流單邏輯。

期望只需要執行一條命令，就能快速得到指定條件的訂單。

場景B： 在上面提到的購物流程中，任意修改某個流程都有可能對整體流程構成不同程度的影響，有沒有快速簡捷的方式給我們確認新的修改是否會影響主流程的變更呢？一般的作法就是需要測試人員去回歸主流程，但這個成本比較高而且並一定那么的可靠，我們需要一種成本低又不知疲倦的工具為我們完成上面的工作，即使達不到100%人工測試的效果。

期望在代碼提交后，每日構建工具能夠在修改之后的版本上執行主流程的測試用例，確保第一時間反饋出問題來，而不需要等到測試人員報BUG或者是線上用戶反饋出問題來才被動知道。

場景C：

在做一個稍微大型的功能后，為了確保各個子功能能夠相互協作正常，我們一般首先會對子功能做單元測試，然后對大功能做集成測試。在集成測試時，需要快速的定義測試用例並得到預期結果。

集成測試的方式可能有很多種，比如我之前對http api接口的集成測試就依靠谷歌的postman（當然你也可以用junit來搞集成測試，在里面做各種斷言）。但這種方式需要人工判斷接口是否正確，因為此工具只具備執行能力並不具備判斷能力。所以需要一款脫離特定語言的測試用例工具來幫助我們完成，而且非常容易的能夠對環境進行擴展，比如定義開發環境，測試環境，預上線環境，生產環境等。

behave簡要說明

依賴項

與python配合完成，所以需要在執行測試用例的機器上至少需要安裝：

• python
• behave

另外可以為behave創建單獨的python環境，可以引入virtualenv。每次運行時通過source xxxenv/bin/activate來進入特定的python環境，source的目的就是替換環境變量。

其它組件

比如我主要測試http api，所以會用到下面一些庫：

• requests, 用於做http請求的
• json,用於處理字符串與json之間的各種轉換
• operator，操作符，比如a>b之類的函數表達

參考文檔

https://pythonhosted.org/behave/index.html

項目背景

針對HTTP API的集成測試的自動化。上面所說的場景A/B/C是我暫時理解的，不同的人在不現的階段對自動化測試的需求不一樣。比如我做為業務系統的開發者，場景C可以幫助在我提交大型功能前做聯調測試，系統穩定后，我們去修改一個功能但依賴其它模塊數據時，希望快速產生預期數據那么場景A適合我們。當我們比較惶恐的修改某種功能時，場景B的主流程測試能夠給我們信心。

項目結構

這里以文章前面說的購物場景為例。

envbehave

是創建的一個python獨立環境，可選。

features

behave相關的所有測試用例文件

• dev 存放測試用例的目錄，可以按業務定義名稱好作區分，比如訂單相關的可以叫 order。
• steps，存放配置測試用例文件的執行文件，behave+python
• environment.py，是為了支持多環境而創建的，比如開發，測試，預上線，生產環境可任意切換
• service.py，封裝了基礎功能，目的就是簡化step以及測試用例的代碼

代碼實現

多環境支持

behave提供了對於環境的控制，我們可以在如下函數中添加自己的邏輯：

• before_step
• before_scenario
• before_feature
• before_tag
• before_all

根據之前所述，集成測試可能涉及到不同小組提供的api，所以可以定義如下數據：

CONFIG = {
    'dev': {
        'hosts': {
            'product': 'http://localhost:1234/api/product',
            'order':'http://localhost:1234/api/order',
            'cart': 'http://localhost:1234/api/cart',
            'pay': 'http://localhost:1234/api/pay',
            'user': 'http://localhost:1234/api/user',
            'logistics': 'http://localhost:1234/api/logistics',
        }
    },
    'test': {
        'hosts': {
            'product': 'http://test.jim.com/api/product',
            'order':'http://test.jim.com/api/order',
            'cart': 'http://test.jim.com/api/cart',
            'pay': 'http://test.jim.com/api/pay',
            'user': 'http://test.jim.com/api/user',
            'logistics': 'http://test.jim.com/api/logistics',
        }
    },


}

然后在before_all中進行數據初始化,環境參數可以通過命令行的-D參數來控制，比如: -D env=dev

env = 'dev'
def before_all(context):
    global env
    if (context.config.userdata.get('env')):
        env = context.config.userdata['env']

    for k, v in CONFIG[env]['hosts'].items():
        hosts[k] = v

基礎功能封裝

封裝通用的功能，便於使用測試用例簡單方便，容易管理。創建一個service.py,主體結構如下：

#coding=utf-8
import requests, json

hosts = {}
class BddService(object):
    def __init__(self, api, data={}, headers={}):
       # 數據初始化

    def __before__(self, context, data, url):

       # 處理數據，比如從測試用例中取參數，存放到context的requestData中，供后續的http請求使用

    def __after__(self, context, r, url):
       # 從http request中獲取數據，存放到context的responseData中，供后續的斷言使用

    def get(self, context, url, data={}):
       # 完成 http 調用

• 測試用例參數指定

我們需要在用例下面直觀靈活的指定參數，可以通過behave提供的文本功能實現，它可以讀一段多行文本到context.text變量中，然后我們對去做處理。

When 搜索商品
    """
    {"name":"product1"}
    """

在before函數中完成值的填充,將最終的請求參數存放在context的requestData變量中。

def __before__(self, context, data, url):

    if context.text:
        print (context.text)
        o = json.loads(context.text)
        print (o)
        for k in o:
            data[k] = o[k]
    context.requestData = data

• HTTP請求結構處理

在after函數中完成取值，將HTTP請求的結構存放在context的responseData變量中。對於HTTP請求的結構支持兩類數據，一類是json數據，一類是簡單值（比如直接返回一個數字或者一個bool值或者是一個字符串）。

def __after__(self, context, r, url):
    try:
        context.response = r.json()
        if context.response.get('value', None):
            context.responseData = context.response.pop('value')
            try:
                if type(context.responseData) == str or type(context.responseData) == unicode:
                    context.responseData = json.loads(context.responseData)
           except:
        if not hasattr(context, 'responseData') or context.responseData == None:
   except:
        context.response = r.text

上面邏輯中的get('value')，是特殊的數據結構（約定HTTP接口都會按一定的固定格式返回），比如我這里的結構,其中的value才是真正的業務數據。

{
    "result": true,
    "error": null,
    "value": [
        {
            "id": 1,
            "name": "product1",
            "productImage": null
        }
    ]
}

斷言

behave默認情況下進行斷言，需要在@then中完成斷言，就需要為每個測試用例編寫獨立的斷言函數，可以做統一的封裝，主體支持兩類操作。

• 判斷請求響應是否正常
• 判斷請求的值是否符合預期

創建一個assert.py

• 編寫兩個斷言函數

從@then腳本后面讀取多行文本，如果為空直接跳過斷言。

@then(u'得到響應數據')
def step_impl(context):
    if not context.text:
        return
    try:
        expect = json.loads(context.text)
    except:
        expect = context.text
    assertObj(expect, context.responseData)

@then(u'得到響應')
def step_impl(context):
    if not context.text:
        return
    expect = json.loads(context.text)
    assertObj(expect, context.response)

• 編寫斷言函數

需要判斷比較值的類型，因為只支持對基本類型的數據做斷言，如果是列表就需要迭代到成員對象，至於迭代到基本數據類型（比如字符串，數字），然后利用operator庫做處理。

def assertObj(expect, actual):
    if(type(expect) == list):
        for i in range(len(expect)):
            assertObj(expect[i], actual[i])
    elif type(expect)==bool or type(expect)==str or type(expect)==int:
        assertObjKey(None, expect, actual)
    else:
        for k in expect:
            if(type(expect[k]) == dict or type(expect[k]) == list):
                if(type(actual[k]) != type(expect[k])):
                    actual[k] = json.loads(actual[k])
                assertObj(expect[k], actual[k])
            else:
                assertObjKey(k, expect[k], actual[k])


def assertObjKey(k,originExpect,actualValue):
    #測試用例的值支持<,<=,<,<=,!=,==
    #樣例數據:{"premium":"ge$0"}
    expectArray = str(originExpect).split("$");

    if (len(expectArray) == 2):
        action = expectArray[0];
        realExpect = expectArray[1]
       if action == "ge":
            assert operator.ge(actualValue, long(realExpect))
        elif action == "gt":
            assert operator.gt(actualValue, long(realExpect))
        elif action == "le":
            assert operator.le(actualValue, long(realExpect))
        elif action == "lt":
            assert operator.lt(actualValue, long(realExpect))
        elif action == "ne":
            assert operator.ne(actualValue, realExpect)
        elif action == "eq":
            assert operator.eq(actualValue, realExpect)
        else:
            assert originExpect == actualValue
    else:
        assert originExpect == actualValue

優化

上面代碼中判斷操作符有眾多if，基本上就是一種比較一條if，比較冗余，現更新如下：利用getattr來獲取方法，與java中的反射有點像。

method= getattr(operator, action,None)
if(method!=None):
    method(actualValue, float(realExpect))
else:
    assert operator.eq(actualValue, realExpect)

編寫step

可以根據調用的不同業務接口創建不同的step文件，比如如下圖所示：

這里貼一個登錄的step腳本示例,其余的大同小異。

R = BddService('user')

@given(u'初始化數據')
def given_init(context):
    context.userName="jim"
    context.password="123456"

@when(u'登錄')
def step_impl(context):
    R.get(context,"/login",{"userName":context.userName,"password":context.password})

創建實例

python中創建實例時沒有關鍵字new，這與其它語言有比較大的區別，剛開始總是覺得別扭，現在看還是別扭。

完成測試用例

創建一個order.feature

Feature:訂單流程測試


Scenario:常規下單流程

    Given 初始化數據

    When 登錄
    Then 得到響應
    """
    {"result":true}
    """

    When 搜索商品
    """
    {"name":"product1"}
    """
    Then 得到響應
    """
    {"result":true}
    """

    When 加入購物車
    Then 得到響應
    """
    {"result":true}
    """

    When 提交訂單
    Then 得到響應數據
    """
    1
    """

    When 支付訂單
    Then 得到響應數據
    """
    1
    """

    When 生成物流單
    Then 得到響應數據
    """
    1
    """

執行測試用例

只需要在對應的目錄執行如下腳本即可愉快的執行測試用例。

behave -D env=test features/dev/order.feature

如果運行正常，會看出如下的輸出，黃色的代表執行通過，如果執行失敗會打印出錯誤信息，以及用例執行到哪一步報錯。另外說明下，behave在執行正常的情況下會屏蔽通過print輸出的日志，貌似可以通過參數調，有興趣的可以研究研究。