python基本運行機制。Python程序運行時不需要編譯成二進制代碼,而直接從源碼運行程序,簡單來說是,Python解釋器將源碼轉換為字節碼,然后再由解釋器來執行這些字節碼。
解釋器的具體工作:
1 完成模塊的加載和鏈接;
2 將源代碼編譯為PyCodeObject對象(即字節碼),寫入內存中,供CPU讀取;
3 從內存中讀取並執行,結束后將PyCodeObject寫回硬盤當中,也就是復制到.pyc或.pyo文件中,以保存當前目錄下所有腳本的字節碼文件;
* 之后若再次執行該腳本,它先檢查【本地是否有上述字節碼文件】和【該字節碼文件的修改時間是否與其腳本一致】。是就直接執行,否則重復上述步驟。
如果你的程序是死循環,不停歇的代碼,下列是需要注意內存的問題。
第一、pillow庫的隱患
#內存將發生泄漏
from PIL import Image
im = Image.open('1.jpg')
im.save()
#使用with使程序更安全
from PIL import Image
with open('1.jpg' , 'rb') as open_file:
im = Image.open(open_file)
第二、使用importlib.reload重載模塊后帶來使用全局變量帶來的隱患
假如采取不重啟程序方式,自動重新載入修改后的文件,所以需要進行重載模塊
#run.py
import importlib
while True:
module_name = importlib.import_module('.', 'test_file')
module_name = importlib.reload(module_name)
result = module_name.main(params)
#test_file.py
global_value = {'dataList':[],
'number':'',}
key = '初始值'
def main(params):
# params攜帶着此次任務數據
global_value['number'] = params['number']
get_data1(params)
get_data2(params)
return global_value
def get_data1(params):
global key
# 你的程序通過params得到新的數據
data_once = {'每次運行產生的鍵': '每次運行產生的鍵值'}
key = '新值'
global_value['dataList'].append(data_once)
def get_data2(params):
# 你的程序通過params和key新的值,得到另一份數據
data_once = {'每次運行產生的新鍵': '每次運行產生的新鍵值'}
global_value['dataList'].append(data_once)
上述就會發生一種隱患,以前我覺得垃圾回收機制很靠譜。但是當每一次重載模塊時,global_value將使用新的地址,原來的地址還放着上一次的數據,沒有被釋放掉
就算你在每次循環里添加gc.collect()也不能快速回收刪除上一次的數據,導致內存持續增長。。。
我的處理方式是
(1)將global_value這個轉移進函數內,通過傳參將get_data1和get_data2數據整合在一個變量里
(2)將所有函數放在一個類中,也可以避免全局變量數據存活時間太長
總結,雖然使用全局變量很省事,不用傳參,其他函數改變其值再被其他函數調用很方便,卻會導致內存泄漏,因為每一次reload時產生的是新的內存地址。
