Python最佳工程實踐,建立一個完美的工程項目


在程序開發時候一套好的開發環境和工具棧,可以幫我們極大的提高開發的效率,避免把大量時間浪費在周邊瑣事上。本文以Python為例,教大家如何快速打造完美的Python項目開發環境:內容涵蓋了模塊依賴管理、代碼風格管理、調試測試管理和Git版本管理,使用git hook做項目規范檢查等。

pipx

Python最佳工程實踐,建立一個完美的工程項目

 

Pipx是一款跨平台的Python環境隔離管理工具,可以在支持在 Linux、Mac OS 和 Windows 上運行。Pipx默認在是個人用戶下建立虛擬Python環境,並以此建立實現完全隔離的Python運行環境。安裝pipx需要Pthon 3.6及以上版本:

python3 -m pip install --user pipx
python3 -m pipx ensurepath

升級Pipx使用:

python3 -m pip install -U pipx

包依賴管理pipenv

Python最佳工程實踐,建立一個完美的工程項目

 

Pipenv會自動為你的項目創建和管理虛擬環境,以pipfile文件方式方式管理項目的依賴包,支持包的安裝和卸載。和requirements.txt不同,pipfile是TOML格式,支持開發環境與正式環境,還可以使用Pipfile.lock鎖定環境版本。pipxenv的安裝可以使用pipx:

pipx install pipenv

有些發行版也是可以直接通過其包管理器安裝的:

比如MacOS可以下可以使用:

brew install pipenv

一個pipfile的示例如下:

Python最佳工程實踐,建立一個完美的工程項目

 

Pipfile.lock的示例部分如下:

Python最佳工程實踐,建立一個完美的工程項目

 

代碼風格

代碼格式化black

Python最佳工程實踐,建立一個完美的工程項目

 

代碼格式的統一不光可以給我們一個愜意的代碼格式,而且可以避免由於開發人員之間的代碼風格差異導致的溝通和協作問題。

Black就是用來格式化Python代碼的程序。它可以自動幫我們對代碼格式進行調整和統一,提高代碼效率和可讀性。而且通過Black減小代碼風格的差異,可以極大提高團隊進行代碼審查的效率。

一個Black格式化示例如下:

原始代碼:

Python最佳工程實踐,建立一個完美的工程項目

 

def very_important_function(template: str, *variables, file: os.PathLike, engine: str, header: bool = True, debug: bool = False):
"""Applies `variables` to the `template` and writes to `file`."""
with open(file, 'w') as f:
...

格式化后的代碼:

Python最佳工程實踐,建立一個完美的工程項目

 

def very_important_function(
template: str,
*variables,
file: os.PathLike,
engine: str,
header: bool = True,
debug: bool = False,
):
"""Applies `variables` to the `template` and writes to `file`."""
with open(file, "w") as f:
...

isort美化import部分代碼

Python最佳工程實踐,建立一個完美的工程項目

 

Python開發中經常需要import第三方的模塊,往往這部分代碼混亂不堪,使用isort可以則可以美化這部分的代碼。 isort可以按字母表順序對import進行排序,自動分成多個部分。

我們可以使用pipenv安裝black 和isort:

pipenv install black isort -dev

isort的效果示例,可以看下面的動圖:

Python最佳工程實踐,建立一個完美的工程項目

 

Black和isort同時使用時,兩者默認配置不兼容,我們需要覆蓋isort配置,優先以Black的格式化為准。可以通過setup.cfg文件並添如下配置來完成該任務。

[isort]
multi_line_output=3
include_trailing_comma=True
force_grid_wrap=0
use_parentheses=True
line_length=88

flake8代碼風格檢測

Flake8可以用來確保代碼遵循PEP8中定義的標准Python編程約定,是Python官方輔助代碼風格檢測工具,lake8檢查規則靈活,支持集成額外插件(比如vim、sublime、PyCharm、vsc等都有其相關插件),擴展性強。

其安裝也可以使用pipenv:

pipenv install flake8 –dev

flake8的使用示例如下:

Python最佳工程實踐,建立一個完美的工程項目

 

flake8 example.py的檢查結果:

Python最佳工程實踐,建立一個完美的工程項目

 

flake8默認會忽略一些約定(E,F),如果我們檢查所有約定:

flake8 --select E,F example.py,結果:

Python最佳工程實踐,建立一個完美的工程項目

 

和isort一樣,為了配合兼容Black,需要在setup.cfg中額外配置:

[flake8]
ignore = E203, E266, E501, W503
max-line-length = 88
max-complexity = 18
select = B,C,E,F,W,T4

mypy靜態類型

Python最佳工程實踐,建立一個完美的工程項目

 

Mypy是Python的可選靜態類型檢查器,可以用結合動態(或"鴨子")類型和靜態類型優點其他代碼的性能。通過Mypy將Python的動態類型便捷性和表現力的優勢與靜態類型強系統和編譯時類型檢查相結合,並且生成原生代碼,支持通過Python VM運行,可以沒有運行時開銷的高性能運行。在Python中使用靜態類型好處有:

可以使程序更易於理解和維護;

可以幫助編譯時調試和發現錯誤,減少測試和調試。

可以在代碼部署到生產環境之前就可以找到難以捕捉的錯誤。

可以使用pipenv直接安裝Mypy:

pipenv install mypy –dev

mypy動態類型和靜態類型一個示例如下:

Python最佳工程實踐,建立一個完美的工程項目

 

項目配置

默認情況下,Mypy會遞歸檢查所有類型注釋的導入,這會導致庫不包含這些注釋時出錯。需要修改mypy配置僅檢查當前代碼運行,並忽略沒有類型注釋的import模塊。這也可以在setup.cfg中設置:

[mypy]
files=項目,test
ignore_missing_imports=true

代碼測試

程序開發中,除了寫代碼外,另外一個重要的部分是單元測試。Python測試方面我們要介紹的工具有pytest。

Python最佳工程實踐,建立一個完美的工程項目

 

可以使用pipenv添加測試工具包及擴展:

pipenv install pytest pytest-cov --dev

Pytest框架可以讓編寫小測試變得容易,而且支持以擴展的方式提供更加復雜的功能。下面是pytest網站的一個簡單示例:

# content of test_sample.py
def inc(x):
return x + 1
def test_answer():
assert inc(3) == 5

通過以下命令測試

pipenv run pytest

結果如下:

Python最佳工程實踐,建立一個完美的工程項目

 

pytest-cov是pytest的單元測試行覆蓋率的插件。pytets-cov的測試結果示例如下:

Python最佳工程實踐,建立一個完美的工程項目

 

pytest還有很多的擴展插件:

pytest-cov: 單元測試覆蓋率報告

pytest-django: 對Django框架的單元測框架

pytest-asyncio:對asyncio的支持

pytest-twisted: 對twisted框架的單元測框架

pytest-instafail: 發送錯誤時報告錯誤信息

pytest-bdd 測試驅動開發工具

pytest-konira 測試驅動開發工具

pytest-timeout: 支持超時功能

pytest-pep8: 支持PEP8檢查

pytest-flakes: 結合pyflakes進行代碼檢查

更多插件可以查看github pytest-dev組織下的項目。

項目配置

項目中,所有的測試都應該放在test目錄中,我需要給setup.cfg添加配置:

[tool:pytest]
testpaths=test

單元覆蓋率的項目配置需要創建一個新文件.coveragerc返回應用程序代碼的覆蓋率統計信息,配置示例如下:

[run]
source = 項目
[report]
exclude_lines =
pragma: no cover
def __repr__
if self\.debug
raise AssertionError
raise NotImplementedError
if 0:
if __name__ == .__main__.:

然后再工程中運行一下命令,測試項目的覆蓋率

pipenv run pytest --cov --cov-fail-under =100

如果程序代碼的測試覆蓋率低於100%,就會報錯。

Git pre-commit hook規范檢查

Git hook可以讓我們在提交或推送時執行檢查腳本,腳本可以配置對項目鏡像測試或者規范性檢查。運行腳本。我們可以配置pre-commit hook允許輕松配置這些鈎子,下面.pre-commit-config.yaml配置示例可以幫我們自動做代碼規范化,包括isort檢查、black檢查、flake8檢查、mypy靜態類型檢查、pytest測試、pytest-cov測試覆蓋率檢查:

repos:
- repo: local
hooks:
- id: isort
name: isort
stages: [commit]
language: system
entry: pipenv run isort
types: [python]
- id: black
name: black
stages: [commit]
language: system
entry: pipenv run black
types: [python]
- id: flake8
name: flake8
stages: [commit]
language: system
entry: pipenv run flake8
types: [python]
exclude: setup.py
- id: mypy
name: mypy
stages: [commit]
language: system
entry: pipenv run mypy
types: [python]
pass_filenames: false
- id: pytest
name: pytest
stages: [commit]
language: system
entry: pipenv run pytest
types: [python]
- id: pytest-cov
name: pytest
stages: [push]
language: system
entry: pipenv run pytest --cov --cov-fail-under=100
types: [python]

如果你需要跳過這些鈎子,你可以運行git commit --no-verify或git push --no-verify

cookiecutter自動創建項目

Python最佳工程實踐,建立一個完美的工程項目

 

上面我們提到Python項目應該具備的工具集和配置,可以將其作為模版。cookiecutter的模版定義范例如下:

cookiecutter.json
{
"full_name": "Chongchong",
"email": "chongchong@ijz.me",
"project_name": "Python-Practice",
"repo_name": ""Python-Practice ",
"project_short_description": "The Simple Python Development Practice Example.",
"release_date": "2019-09-02",
"year": "2019",
"version": "0.0.1"
}

然后使用cookiecutter自動生成整改工程:

pipx run cookiecutter Python-Practice
cd Python-Practice
git init

安裝依賴項

pipenv install --dev

運行 pre-commit和pre-push hook:

pipenv run pre-commit install -t pre-commit
pipenv run pre-commit install -t pre-push

總結

本文我們介紹了在Python項目開發時候必須要具備的一些開發測試檢查工具。通過這些可以自動生成Python項目,代碼風格檢查、代碼測試等操作,可以幫助我們打造一個高效完美的Python開發環境。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM