[python] python單元測試經驗總結

python寫單元大多數都會用到unittest和mock，測試代碼覆蓋率都會用到coverage，最后再用nose把所有的東西都串起來，這樣每次出版本，都能把整個項目的單元測試都運行一遍。

Unittest

unittest就不詳細介紹了，注意幾點：

• 測試類繼承unittest.TestCase
• 測試類、測試方法名字最好以test開頭，很多工具能根據名字來自動運行，很方便
• 測試類里面的setUp/tearDown會在每個case執行之前/之后執行，setUpClass/tearDownClass加上@classmethod在整個測試類開始和結束的時候執行
• 測試文件的main函數里面加上unittest.main()，就可以直接用python命令運行了

Mock

單元測試里面比較精髓的就是mock了，介紹幾種常見的場景：

1. Mock一個函數。其實有好幾種方法，個人比較推薦下面這種，看上去很清晰：

def multiple(a, b):
    return a*b


class TestProducer(unittest.TestCase):
    def setUp(self):
        self.calculator = Calculator()

    @mock.patch('multiple')
    def test_multiple(self, mock_multiple):
        mock_multiple.return_value = 3
        self.assertEqual(multiple(8, 14), 3)

 

2. Mock一個對象里面的方法

class Calculator(object):
    def add(self, a, b):
        return a+b
 
 
class TestProducer(unittest.TestCase):
    def setUp(self):
        self.calculator = Calculator()
 
    @mock.patch.object(Calculator, 'add')
    def test_add(self, mock_add):
        mock_add.return_value = 3
        self.assertEqual(self.calculator.add(8, 14), 3)

 

3. 讓Mock的函數每次被調用返回不同的值，而1,2中的方法每次調用都會返回同樣的值

class TestProducer(unittest.TestCase):
    @mock.patch.object(Calculator, 'add')
    def test_effect(self, mock_add):
        mock_add.side_effect = [1, 2, 3]
        self.assertEqual(self.calculator.add(8, 14), 1)
        self.assertEqual(self.calculator.add(8, 14), 2)
        self.assertEqual(self.calculator.add(8, 14), 3)

 

4. 讓Mock的函數拋出exception

def is_error(self):
    try:
        os.mkdir("11")
        return False
    except Exception as e:
        return True   

 
class TestProducer(unittest.TestCase):
    @mock.patch('os.mkdir')
    def test_exception(self, mock_mkdir):
        mock_mkdir.side_effect = Exception
        self.assertEqual(self.calculator.is_error(), True)

 

5. Mock多個函數，主要是注意順序

    @mock.patch.object(Calculator, 'add')
    @mock.patch('test_unit.multiple')
    def test_both(self, mock_multiple, mock_add):
        mock_add.return_value = 1
        mock_multiple.return_value = 2
        self.assertEqual(self.calculator.add(8, 14), 1)
        self.assertEqual(multiple(8, 14), 2)

Coverage

打命令coverage加測試文件，就可以得到覆蓋率，可以生成html格式的報告，每次運行一個文件都會生成一個.coverage文件，需要將combine所有結果才能得到一個完整的報告。

具體的命令參數參看：http://nedbatchelder.com/code/coverage/cmd.html

更加有用的是配置文件，參看：http://nedbatchelder.com/code/coverage/config.html

配置文件中最有用的功能就是可以不測某些行的覆蓋率，例如：

[report]
exclude_lines =
    # 只要在某一行加上注釋“# pragma: no cover”這一行就會被忽略
    pragma: no cover

    # 忽略掉main函數
    if __name__ == .__main__.:

Nose

Nose可以將所有的單元測試文件一次全部執行，並且提供了coverage的插件，能夠統計整體的覆蓋率。

Nose會掃描目標目錄，如果發現目錄名以“test”或者“Test”開頭，則遞歸地進去掃描，並自動運行所有發現的以“test”或者“Test”開頭的測試文件。

另外Nose增加了報級別的setup和teardown，只需將他們放到__init__.py文件中即可。

Nose命令的執行，最簡單的就是nosetest后面加上你的所有測試文件或者測試文件所在的目錄，一些運行參數參看：http://nose.readthedocs.org/en/latest/usage.html

Nose的參數里面以"--cover"開頭的都是coverage相關的，但是我發現並沒有辦法是用coverage的配置文件，需要手動安裝一下nose-cov，然后用“--cov-config”來指定配置文件，其他參數參看：https://pypi.python.org/pypi/nose-cov

我的項目因為測試文件比分散，並且有些並沒有以test開頭，所以比較麻煩，只能寫了一個腳本，把這些都串起來：

import os
import subprocess

######################################################################
# 需要測試覆蓋率的文件或者目錄
cover_list = [
    'src/sample/analyzer/unpacker/src/emulator.py',
    'src/sample/analyzer/unpacker/src/emulator_manager.py',
    'src/sample/analyzer/unpacker/src/unpacker_analyzer.py',
    'src/sample/analyzer/bitvalue/src/confparser.py',
    'src/sample/analyzer/bitvalue/src/trunk.py',
]

# 測試用例所在的文件或者目錄，如果測試文件沒有以test開頭，則必須制定文件名
ut_list = [
    'src/sample/analyzer/unpacker/ut',
    'src/sample/analyzer/bitvalue/ut/ut_main.py'
]
######################################################################

PRODUCTION_HOME = os.environ.get("PRODUCTION_HOME", "../..")


def get_command():
    command = [
        'nosetests',
        '--with-cov',
        '--cover-erase',
        '--cov-report', 'html',
        '--cov-config', 'cover.config',
    ]

    for cover in cover_list:
        command.append('--cov')
        command.append(os.path.join(PRODUCTION_HOME, cover))

    for ut in ut_list:
        command.append(os.path.join(PRODUCTION_HOME, ut))

    return command


if __name__ == '__main__':
    command = get_command()
    print command

    os.chdir(PRODUCTION_HOME)
    proc = subprocess.Popen(command, shell=False, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

    output, error = proc.communicate()
    return_code = proc.poll()

    print output
    print error
    print return_code