雲效自建測試自動化最佳實踐

雲效自建測試自動化最佳實踐，對於現代軟件研發來說，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求。而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測試反饋也是其非常重要的一環，達到這一點，需要依靠測試自動化。

作為面向企業開發者的DevOps平台，雲效提供了豐富的能力，幫助大家在DevOps流程中落地測試自動化實踐。

 

簡單來說，企業自建測試自動化體系，分為三種形式：

 

形式一：基於開源測試自動化工具

 

很多企業自建測試自動化，都是從選擇一個開源測試自動化工具開始的。一個開源測試自動化工具，往往包含以下幾部分（以RobotFramework為例）：

 

1.測試執行工具，如robot

 

2.測試用例，如.robot文件

 

3.測試結果和報告，如執行完生成的log.html和report.html

 

4.測試能力庫，用來完成特定的測試，如SeleniumLibrary

 

對於一個測試自動化體系，往往還需要加上：

 

1.調度和執行平台

 

2.結果分析與統計報表

 

3.測試結果通知能力

 

基於雲效，整個的架構是這樣的。

 

 

1.測試自動化用例存儲在雲效代碼平台的git倉庫中

2.用於執行測試自動化的測試步驟，基於雲效的自定義step能力創建

3.觸發和串聯代碼、構建和自動化測試的雲效流水線、

4.通知機制（釘釘消息）

 

5.針對質量情況的數據報表，可以直接顯示在流水線測試結果中，也可以將數據發送給自建的數據報表服務展示

 

以RobotFramework框架為例，在雲效上接入開源測試自動化工具有以下幾步。

 1.選擇或編寫對應開源測試自動化工具的flow step

雲效內置了主流開源測試自動化工具的支持（TODO），同時提供flow cli工具，幫助企業定制化地實現符合自己要求的測試自動化組件。如何通過flow cli實現並發布一個flow step，請參見參考資料。

這里，僅以RobotFramework為例，對其關鍵部分做一下說明。

 

首先通過flow step init命令初始化一個flow step組件的項目。

 

1.1 執行的環境和命令

 

在step.yaml文件中，image為測試執行的環境鏡像，這里是registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0，鏡像的內容在Dockerfile里面定義。在items中添加type為shell的輸入框，用於設置執行命令，這里默認值為robot-L Trace -d robot_logs .，當前目錄“.”即為代碼所在目錄。

 

# ...
image: registry.cn-hangzhou.aliyuncs.com/feiyuw/flow-robotframework:1.0
items:
  - label: 執行命令
    name: STEP_COMMAND
    type: shell
    value: |
      # NOTE: output directory should be robot_logs
      robot -L Trace -d robot_logs .
# ...

　　

1.2 紅線配置

 

首先在step.yaml中定義紅線配置組件，這些組件會在流水線配置步驟的時候顯示給用戶。

 

 items:
    - label: 紅線信息
      name: CHECK_REDLINES
      type: addable_group
      rules:
        - require: false
      add_button:
        type: icon
        icon: plus
        text: 增加紅線
        tip:
          icon: question-circle
          description: 紅線校驗失敗步驟標記為失敗
      template:
        items:
          - name: redline
            label: 紅線
            position: flat
            type: custom_redline_dropdown
            datamap: '[{"key": "PassRate", "type":"GE"}]'
            rules:
              -requires: false

　　

另外在step.sh的最后添加紅線檢查部分，如：

 

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

　　

flow step編寫及調試完畢后，publish到當前企業中。

2. 在代碼庫中添加測試自動化用例

對於針對整個產品或一個子系統的自動化測試，我們建議自動化測試用例保存在單獨的代碼倉庫中；而對於針對某個特定應用的自動化測試，我們建議其測試用例保存在該應用的代碼倉庫中，並與開發使用同一個分支（推薦）。

將自動化測試用例與應用代碼在同一個代碼庫中管理，有許多好處：

1.測試用例與代碼互相匹配且是最新的，讓自動化測試在開發階段就可以及時介入

2.直接復用開發的分支模式，不用考慮自動化用例的版本管理

3.開發和測試基於git代碼庫緊密協作，方便落地ATDD這樣的優秀實踐

4.容易集成到流水線中，當測試代碼或者開發代碼變更后都能快速被執行和反饋，加速問題的定位和修復

示例：alpd-bot-ssh的測試自動化用例。

alpd-bot-ssh是一個SSH的服務，提供IP歸屬地查詢和天氣查詢能力，該測試自動化用例基於RobotFramework框架實現。

3. 添加測試自動化節點到流水線

打開持續集成流水線，如果沒有，在flow上創建一個。

說明 

立即體驗：雲效流水線Flow

3.1 編輯流水線，添加一個空白任務

3.2 添加自定義步驟，“RobotFramework測試”

3.3 配置執行命令和紅線

4. 上傳測試報告到雲效，以在雲效流水線執行結果中展示

4.1 編輯第三步的測試自動化節點，添加一個步驟

4.2 配置測試報告目錄（這里是robot_logs）和測試報告入口文件（這里是report.html）

5. 同步測試結果到自建的報表系統

有些時候，我們需要對測試結果進行進一步的統計分析，此時，僅靠測試自動化工具提供的報告就無法滿足了。通常，我們會自建一個報表系統。那么，雲效中執行的測試自動化結果如何上傳到我們自建的報表系統呢？

5.1 確保報表系統能夠被雲效訪問到

由於網絡問題，雲效無法訪問我們建在私有網絡環境中的報表系統，要求報表系統開放公網訪問接口。為了安全，我們建議僅開放必要的接口，同時做好IP白名單防護。

5.2 在flow step中添加上傳報告步驟

打開步驟1的flow step，編輯step.sh，添加上傳報告步驟。

注意：該步驟需要放在redline檢查之前，同時建議傳遞的信息包括：測試結果、代碼分支、代碼版本、提交者、流水線名字等。

# ...
# sh -ex $WORK_SPACE/user_command.sh
bash -c "$STEP_COMMAND"

output=`python3 /root/parse_output.py $OUTPUT_XML`

STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'`
STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'`
STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'`

# upload test result to report server
python3 /root/upload_to_report_server.py $OUTPUT_XML $CI_COMMIT_REF_NAME $CI_COMMIT_SHA $EMPLOYEE_ID $PIPELINE_NAME $BUILD_NUMBER

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

　　

最后的流水線大致是下面這個樣子：

形式二：測試自動化自建Jenkins

對於已經自建Jenkins等工具用於測試自動化調度執行，甚至在Jenkins上進行了二次開發和定制的團隊，或者對於像ioT開發這樣有特殊環境要求的應用，復用現有的工具資源更為經濟。為此，雲效提供了與客戶現有Jenkins服務無縫對接的能力，幫助企業通過串聯起研發測試。

1. 確保自建Jenkins能夠被雲效訪問到

自建Jenkins服務需要支持公網訪問，以便雲效能夠訪問並觸發對應的任務。同樣，為了安全考慮，建議僅開放必要的接口，並開啟IP白名單防護。

2. 添加Jenkins任務節點到流水線中

編輯雲效流水線，添加一個任務節點，選擇Jenkins任務。

接下來，配置Jenkins地址、認證方式、對應的Job名稱，以及觸發參數（上游的構建鏡像）。

3. 查看結果和統計報表

流水線被執行后，結果信息會同步到Jenkins任務組件上，用戶可以在雲效流水線運行結果上直接跳轉到Jenkins Job日志。

對於統計報表，由於這種方式下，雲效不會保存執行任務的任何數據，建議在Jenkins任務中完成數據的上傳等工作。

形式三：自建測試自動化平台

flowip地址

如果開源測試自動化工具無法滿足測試訴求，又有定制化的調度、觸發、管控等要求，部分企業會選擇自建測試自動化平台。對於這種情況，如何與雲效有機整合起來，做到研發一站式呢？

解決的方法和集成開源測試自動化工具類似，所不同的是，我們的自建測試自動化平台需要對雲效暴露兩個接口：

1.觸發測試執行

2.獲取測試結果

這里我們假設自建測試自動化平台的地址為：http://taplatform.my.corp，兩個接口為：

POST /api/v1/runs
request：{"ref_name":"feature/limit_1", "trigger_by": "yunxiao","suites": "all"}
response：{"code": 0, "run_id":123}

　　

GET /api/v1/runs/<run_id>
response: {"code": 0,"status": "RUNNING|PASS|...", "report_link":"http://taplatform.my.corp/reports/1234", "summary":{"total": 1000, "pass": 1000, "duration": 1200},...}

　　

1、編寫flow step用於觸發測試自動化平台和設置紅線

實現方式與集成開源測試自動化工具的方法類似，主要是配置好step.yaml和step.sh。

step.yaml中配置自建測試平台的地址，以及測試用例的篩選參數，如：

items:
  - label: 測試平台地址
    name: TEST_PLATFORM_HOST
    type: input
    value: http://taplatform.my.corp
  - label: 用例
    name: SUITES
    type: input
    value: all # 用例篩選條件

　　

step.sh中主要完成：

1.觸發測試平台執行對應測試用例

2.等待測試完成

3.獲取測試結果

4.驗證紅線卡點

如：

# sh -ex $WORK_SPACE/user_command.sh
output=`python3 /root/run_and_wait_until_finish.py $TEST_PLATFORM_HOST $SUITES $EMPLOYEE_ID`

STEP_ROBOT_PASS=`echo $output | awk -F, '{print $1}'`
STEP_ROBOT_FAILED=`echo $output | awk -F, '{print $2}'`
STEP_ROBOT_PASSRATE=`echo $output | awk -F, '{print $3}'`

redline Passed:成功:$STEP_ROBOT_PASS:Success Failed:失敗:$STEP_ROBOT_FAILED:Error PassRate:成功率:$STEP_ROBOT_PASSRATE:Default

　　

其中run_and_wait_until_finish.py的實現步驟大致如下：

 

import os
import time
import sys
import requests


def start_test_task(ta_host, suites, trigger_by):
    resp = requests.post(f'{ta_host}/api/v1/runs', json={'trigger_by': trigger_by, 'suites': suites})
    if not resp.ok or resp.json()['code'] != 0:
        raise RuntimeError(f'create test task error: {resp.content}')
    return resp.json()['run_id']


def generate_report(ta_host, report_link):
    if not os.path.exists('report'):
        os.mkdir('report')
    with open('index.html', 'w') as fp:
        fp.write(f'''<html>
<head>
<title>Test Report</title>
<meta http-equiv="refresh" content="0;URL={ta_host}/reports/{report_link}" />
</head>
<body>
<p>forwarding...</p>
</body>
</html>''')


def wait_until_task_done(ta_host, run_id):
    while True:
        resp = requests.get(f'{ta_host}/api/v1/runs/{run_id}')
        if not resp.ok:
            raise RuntimeError(f'task error: {resp.content}')
        data = resp.json()
        if data.get('code') != 0:
            raise RuntimeError(f'task error: {data}')
        if data['status'] in ('PASS', 'FAILED'):
            generate_report(ta_host, data['report_link'])
            return data
        time.sleep(5)


if __name__ == '__main__':
    if len(sys.argv) != 4:
        raise RuntimeError('invalid arguments')
    ta_host, suites, employee_id = sys.argv[1:]
    run_id = start_test_task(ta_host, suites, employee_id)
    run_info = wait_until_task_done(ta_host, run_id)
    summary = run_info['summary']
    pass_cnt = summary['pass']
    total_cnt = summary['total']
    pass_rate = pass_cnt * 100 / total_cnt
    print('%d,%d,%d' % (pass_cnt, total_cnt-pass_cnt, pass_rate))

　　

其中調用了測試平台的兩個接口，並且生成了一個index.html的測試報告文件。注意：該測試報告只是將請求轉發到了自建測試平台的對應頁面上。

2. 添加測試自動化節點到流水線

在流水線上添加空白任務節點，在其中添加一個步驟，選擇前面我們自定義的flow step（記得publish到對應的企業中）。在步驟中配置好測試平台地址和測試用例，並設置好紅線信息。

3. 查看測試報告

在測試節點添加報告上傳步驟，測試報告目錄填“report”，測試報告入口文件為“index.html”。

4. 數據統計與報表

在流水線執行結果中可以看到通過率等summary信息，詳細的統計與報表建議在自建測試自動化平台內實現。

參考資料

•flowstep代碼示例：RobotFramework測試step

雲效自建測試自動化最佳實踐對於現代軟件研發來說，持續、快速、高質量、低風險地交付需求特性，是業務對研發的主要訴求。而要做到這一點，除了要有良好的架構設計、卓越的工程能力，快速可靠的測試反饋也是其非常重要的一環，達到這一點，需要依靠測試自動化。

---

關於我們

了解更多關於雲效DevOps的最新動態，可微信搜索關注【雲效】公眾號；

彩蛋：公眾號后台回復【指南】，可獲得《阿里巴巴DevOps實踐指南》&《10倍研發效能提升案例集》；

看完覺得對您有所幫助別忘記點贊、收藏和關注呦；