Python工程目錄組織

from:  https://zhuanlan.zhihu.com/p/36221226

Python工程目錄組織

關於如何組織一個較好的Python工程目錄結構，已經有一些得到了共識的目錄結構。在Stackoverflow的這個問題上，能看到大家對Python目錄結構的討論。

這里面說的已經很好了，我也不打算重新造輪子列舉各種不同的方式，這里面我說一下我的理解和體會。

假設你的項目名為foo, 我比較建議的最方便快捷目錄結構這樣就足夠了:

Foo/
|-- bin/
|   |-- foo
|
|-- foo/
|   |-- tests/
|   |   |-- __init__.py
|   |   |-- test_main.py
|   |
|   |-- __init__.py
|   |-- main.py
|
|-- docs/
|   |-- conf.py
|   |-- abc.rst
|
|-- setup.py
|-- requirements.txt
|-- README

簡要解釋一下:

1. bin/: 存放項目的一些可執行文件，當然你可以起名script/之類的也行。
2. foo/: 存放項目的所有源代碼。(1) 源代碼中的所有模塊、包都應該放在此目錄。不要置於頂層目錄。(2) 其子目錄tests/存放單元測試代碼； (3) 程序的入口最好命名為main.py。
3. docs/: 存放一些文檔。
4. setup.py: 安裝、部署、打包的腳本。
5. requirements.txt: 存放軟件依賴的外部Python包列表。
6. README: 項目說明文件。

除此之外，有一些方案給出了更加多的內容。比如LICENSE.txt,ChangeLog.txt文件等，我沒有列在這里，因為這些東西主要是項目開源的時候需要用到。如果你想寫一個開源軟件，目錄該如何組織，可以參考這篇文章。

下面，再簡單講一下我對這些目錄的理解和個人要求吧。

 

關於README

這個我覺得是每個項目都應該有的一個文件，目的是能簡要描述該項目的信息，讓讀者快速了解這個項目。

它需要說明以下幾個事項:

1. 軟件定位，軟件的基本功能。
2. 運行代碼的方法: 安裝環境、啟動命令等。
3. 簡要的使用說明。
4. 代碼目錄結構說明，更詳細點可以說明軟件的基本原理。
5. 常見問題說明。

我覺得有以上幾點是比較好的一個README。在軟件開發初期，由於開發過程中以上內容可能不明確或者發生變化，並不是一定要在一開始就將所有信息都補全。但是在項目完結的時候，是需要撰寫這樣的一個文檔的。

 

關於 requirements

python項目中必須包含一個 requirements.txt 文件，用於記錄所有依賴包及其精確的版本號。以便新環境部署。

官方文檔：

Pip’s documentation states

pip description

freeze Output installed packages in requirements format.

list List installed packages.

在虛擬環境中使用pip生成(否則會生成大量本地數據包，安裝或升級包后，最好更新這個文件)：

pip freeze >requirements.txt # 輸出本地包環境至文件

 

當需要創建這個虛擬環境的完全副本，可以創建一個新的虛擬環境，並在其上運行以下命令：

pip install -r requirements.txt # 根據文件進行包安裝

 

需求文件requirements.txt的內容示例如下：

alembic==0.8.6

bleach==1.4.3

click==6.6

dominate==2.2.1

 

關於setup.py

一般來說，用setup.py來管理代碼的打包、安裝、部署問題。業界標准的寫法是用Python流行的打包工具setuptools來管理這些事情。這種方式普遍應用於開源項目中。不過這里的核心思想不是用標准化的工具來解決這些問題，而是說，一個項目一定要有一個安裝部署工具，能快速便捷的在一台新機器上將環境裝好、代碼部署好和將程序運行起來。

這個我是踩過坑的。

我剛開始接觸Python寫項目的時候，安裝環境、部署代碼、運行程序這個過程全是手動完成，遇到過以下問題:

1. 安裝環境時經常忘了最近又添加了一個新的Python包，結果一到線上運行，程序就出錯了。
2. Python包的版本依賴問題，有時候我們程序中使用的是一個版本的Python包，但是官方的已經是最新的包了，通過手動安裝就可能裝錯了。
3. 如果依賴的包很多的話，一個一個安裝這些依賴是很費時的事情。
4. 新同學開始寫項目的時候，將程序跑起來非常麻煩，因為可能經常忘了要怎么安裝各種依賴。

setup.py可以將這些事情自動化起來，提高效率、減少出錯的概率。"復雜的東西自動化，能自動化的東西一定要自動化。"是一個非常好的習慣。

setuptools的文檔比較龐大，剛接觸的話，可能不太好找到切入點。學習技術的方式就是看他人是怎么用的，可以參考一下Python的一個Web框架，flask是如何寫的: setup.py

當然，簡單點自己寫個安裝腳本（deploy.sh）替代setup.py也未嘗不可。

 

關於conf.py

注意，在上面的目錄結構中，沒有將conf.py放在源碼目錄下，而是放在docs/目錄下。

很多項目對配置文件的使用做法是:

1. 配置文件寫在一個或多個python文件中，比如此處的conf.py。
2. 項目中哪個模塊用到這個配置文件就直接通過import conf這種形式來在代碼中使用配置。

這種做法我不太贊同:

1. 這讓單元測試變得困難（因為模塊內部依賴了外部配置）
2. 另一方面配置文件作為用戶控制程序的接口，應當可以由用戶自由指定該文件的路徑。
3. 程序組件可復用性太差，因為這種貫穿所有模塊的代碼硬編碼方式，使得大部分模塊都依賴conf.py這個文件。

所以，我認為配置的使用，更好的方式是，

1. 模塊的配置都是可以靈活配置的，不受外部配置文件的影響。
2. 程序的配置也是可以靈活控制的。

能夠佐證這個思想的是，用過nginx和mysql的同學都知道，nginx、mysql這些程序都可以自由的指定用戶配置。

所以，不應當在代碼中直接import conf來使用配置文件。上面目錄結構中的conf.py，是給出的一個配置樣例，不是在寫死在程序中直接引用的配置文件。可以通過給main.py啟動參數指定配置路徑的方式來讓程序讀取配置內容。當然，這里的conf.py你可以換個類似的名字，比如settings.py。或者你也可以使用其他格式的內容來編寫配置文件，比如settings.yaml之類的。

 

關於main.py

__name__ == '__main__'是Python的main函數入口。並非說，加入這句才能使用python xxx.py來執行，而是說，這里可以判斷，當前是否是直接被python直接調用執行。

getopt是一個包裝方法，用以讀取main函數后面跟着的參數。getopt.getopt(args, options[, long_options])有三個變量，args就是python xxx.py后面跟着的參數，通常就是sys.argv數組，不過我們一般會去除第一個元素，因為sys.argv的第一個元素，就是文件名本身。所以，我們的寫法是sys.argv[1:]。

options是一個字符串，描述了需要解析哪些參數。如果一個參數，不需要跟變量，比如-h，那么直接使用參數名即可。如果一個參數需要傳入變量，則在后面加:，比如n:。所以本案例中hn:w:的意思是，我們有三個參數，分別是-h, -n, -w，其中-h無需傳入變量，而-n, -w需要傳入變量。

long_options是一個字符串數組，也表示需要解析哪些參數。long_options是相對options而言的，我們在linux中，經常會看到一個命令的參數有多種寫法，最常見的就是幫助參數，它有兩種寫法：-h, --help。前一種是就是我們的options，而后一種就是long_options。

假如我們有一個--help，那么在long_options中就是['help']。如果一個參數需要傳入參數，比如--name 'Good'，那么在long_options中就是['name=']，是的，就是多一個=。

getopt.getopt返回一個元組(opts, args)，其中opts就是我們解析出來的參數，而args則是剩余沒有解析的參數。opts是元組數組，每個元組，相當於key-value。key就是我們的參數名，而value就是參數的內容。

經典例子：

 

# coding=utf-8

import getopt

import sys

 

if __name__ == '__main__':

opts, args = getopt.getopt(sys.argv[1:], 'hn:w:', ['name=', 'word=', 'help'])

name = 'No Name'

word = 'Hello'

for key, value in opts:

 

if key in ['-h', '--help']:

print'一個向人打招呼的程序'

print'參數：'

print'-h\t顯示幫助'

print'-n\t你的姓名'

print'-w\t想要說的話'

sys.exit(0)

if key in ['-n', '--name']:

name = value

if key in ['-w', '--word']:

word = value

print'你好，我叫', name, '，', word

 

類class中調用的優先級：

1、def__new__(cls):

2、def__init__(self):

3、def__call__(self, x):