with
這個關鍵字,對於每一學習Python的人,都不會陌生。
操作文本對象的時候,幾乎所有的人都會讓我們要用 with open
,這就是一個上下文管理的例子。你一定已經相當熟悉了,我就不再廢話了。
with open('test.txt') as f:
print f.readlines()
1. what context manager?
基本語法
with EXPR as VAR:
BLOCK
先理清幾個概念
1. 上下文表達式:with open('test.txt') as f:
2. 上下文管理器:open('test.txt')
3. f 不是上下文管理器,應該是資源對象。
2. how context manager?
要自己實現這樣一個上下文管理,要先知道上下文管理協議。
簡單點說,就是在一個類里,實現了__enter__
和__exit__
的方法,這個類的實例就是一個上下文管理器。
例如這個示例:
class Resource():
def __enter__(self):
print('===connect to resource===')
return self
def __exit__(self, exc_type, exc_val, exc_tb):
print('===close resource connection===')
def operate(self):
print('===in operation===')
with Resource() as res:
res.operate()
我們執行一下,通過日志的打印順序。可以知道其執行過程。
===connect to resource===
===in operation===
===close resource connection===
從這個示例可以很明顯的看出,在編寫代碼時,可以將資源的連接或者獲取放在__enter__
中,而將資源的關閉寫在__exit__
中。
3. why context manager?
學習時多問自己幾個為什么,養成對一些細節的思考,有助於加深對知識點的理解。
為什么要使用上下文管理器?
在我看來,這和 Python 崇尚的優雅風格有關。
- 可以以一種更加優雅的方式,操作(創建/獲取/釋放)資源,如文件操作、數據庫連接;
- 可以以一種更加優雅的方式,處理異常;
第一種,我們上面已經以資源的連接為例講過了。
而第二種,會被大多數人所忽略。這里會重點講一下。
大家都知道,處理異常,通常都是使用 try...execept..
來捕獲處理的。這樣做一個不好的地方是,在代碼的主邏輯里,會有大量的異常處理代理,這會很大的影響我們的可讀性。
好一點的做法呢,可以使用 with
將異常的處理隱藏起來。
仍然是以上面的代碼為例,我們將1/0
這個一定會拋出異常的代碼
寫在 operate
里
class Resource():
def __enter__(self):
print('===connect to resource===')
return self
def __exit__(self, exc_type, exc_val, exc_tb):
print('===close resource connection===')
return True
def operate(self):
1/0
with Resource() as res:
res.operate()
運行一下,驚奇地發現,居然不會報錯。
這就是上下文管理協議的一個強大之處,異常可以在__exit__
進行捕獲並由你自己決定如何處理,是拋出呢還是在這里就解決了。在__exit__
里返回 True
(沒有return 就默認為 return False),就相當於告訴 Python解釋器,這個異常我們已經捕獲了,不需要再往外拋了。
在 寫__exit__
函數時,需要注意的事,它必須要有這三個參數:
- exc_type:異常類型
- exc_val:異常值
- exc_tb:異常的錯誤棧信息
當主邏輯代碼沒有報異常時,這三個參數將都為None。
4. how contextlib?
在上面的例子中,我們只是為了構建一個上下文管理器,卻寫了一個類。如果只是要實現一個簡單的功能,寫一個類未免有點過於繁雜。這時候,我們就想,如果只寫一個函數就可以實現上下文管理器就好了。
這個點Python早就想到了。它給我們提供了一個裝飾器,你只要按照它的代碼協議來實現函數內容,就可以將這個函數對象變成一個上下文管理器。
我們按照 contextlib 的協議來自己實現一個打開文件(with open)的上下文管理器。
import contextlib
@contextlib.contextmanager
def open_func(file_name):
# __enter__方法
print('open file:', file_name, 'in __enter__')
file_handler = open(file_name, 'r')
# 【重點】:yield
yield file_handler
# __exit__方法
print('close file:', file_name, 'in __exit__')
file_handler.close()
return
with open_func('/Users/MING/mytest.txt') as file_in:
for line in file_in:
print(line)
在被裝飾函數里,必須是一個生成器(帶有yield),而yield之前的代碼,就相當於__enter__
里的內容。yield 之后的代碼,就相當於__exit__
里的內容。
上面這段代碼只能實現上下文管理器的第一個目的(管理資源),並不能實現第二個目的(處理異常)。
如果要處理異常,可以改成下面這個樣子。
import contextlib
@contextlib.contextmanager
def open_func(file_name):
# __enter__方法
print('open file:', file_name, 'in __enter__')
file_handler = open(file_name, 'r')
try:
yield file_handler
except Exception as exc:
# deal with exception
print('the exception was thrown')
finally:
print('close file:', file_name, 'in __exit__')
file_handler.close()
return
with open_func('/Users/MING/mytest.txt') as file_in:
for line in file_in:
1/0
print(line)
好像只要講到上下文管理器,大多數人都會談到打開文件這個經典的例子。
但是在實際開發中,可以使用到上下文管理器的例子也不少。我這邊舉個我自己的例子。
在OpenStack中,給一個虛擬機創建快照時,需要先創建一個臨時文件夾,來存放這個本地快照鏡像,等到本地快照鏡像創建完成后,再將這個鏡像上傳到Glance。然后刪除這個臨時目錄。
這段代碼的主邏輯是創建快照
,而創建臨時目錄
,屬於前置條件,刪除臨時目錄
,是收尾工作。
雖然代碼量很少,邏輯也不復雜,但是“創建臨時目錄,使用完后再刪除臨時目錄
”這個功能,在一個項目中很多地方都需要用到,如果可以將這段邏輯處理寫成一個工具函數作為一個上下文管理器,那代碼的復用率也大大提高。
代碼是這樣的
總結起來,使用上下文管理器有三個好處:
- 提高代碼的復用率;
- 提高代碼的優雅度;
- 提高代碼的可讀性;
推薦下我本人原創的 《PyCharm 中文指南》電子書,內含大量(300張)的圖解,制作之精良,值得每個 Python 工程師點個收藏。