python內存泄漏


python基本運行機制。Python程序運行時不需要編譯成二進制代碼,而直接從源碼運行程序,簡單來說是,Python解釋器將源碼轉換為字節碼,然后再由解釋器來執行這些字節碼。

解釋器的具體工作:

1 完成模塊的加載和鏈接;

2 將源代碼編譯為PyCodeObject對象(即字節碼),寫入內存中,供CPU讀取;

3 從內存中讀取並執行,結束后將PyCodeObject寫回硬盤當中,也就是復制到.pyc或.pyo文件中,以保存當前目錄下所有腳本的字節碼文件;

* 之后若再次執行該腳本,它先檢查【本地是否有上述字節碼文件】和【該字節碼文件的修改時間是否與其腳本一致】。是就直接執行,否則重復上述步驟。

 

如果你的程序是死循環,不停歇的代碼,下列是需要注意內存的問題。
第一、pillow庫的隱患

#內存將發生泄漏
from PIL import  Image

im = Image.open('1.jpg')
im.save()

#使用with使程序更安全
from PIL import  Image

with open('1.jpg' , 'rb') as open_file:
    im = Image.open(open_file)

第二、使用importlib.reload重載模塊后帶來使用全局變量帶來的隱患
假如采取不重啟程序方式,自動重新載入修改后的文件,所以需要進行重載模塊

#run.py
import importlib

while True:
    module_name = importlib.import_module('.', 'test_file')
    module_name = importlib.reload(module_name)
    result = module_name.main(params)

#test_file.py
global_value = {'dataList':[],
                'number':'',}
key = '初始值'

def main(params):

    # params攜帶着此次任務數據

    global_value['number'] = params['number']
    get_data1(params)
    get_data2(params)
    return global_value

def get_data1(params):
    global key
    # 你的程序通過params得到新的數據
    data_once = {'每次運行產生的鍵': '每次運行產生的鍵值'}
    key = '新值'
    global_value['dataList'].append(data_once)

def get_data2(params):
    # 你的程序通過params和key新的值,得到另一份數據
    data_once = {'每次運行產生的新鍵': '每次運行產生的新鍵值'}
    global_value['dataList'].append(data_once)

上述就會發生一種隱患,以前我覺得垃圾回收機制很靠譜。但是當每一次重載模塊時,global_value將使用新的地址,原來的地址還放着上一次的數據,沒有被釋放掉
就算你在每次循環里添加gc.collect()也不能快速回收刪除上一次的數據,導致內存持續增長。。。


我的處理方式是
(1)將global_value這個轉移進函數內,通過傳參將get_data1和get_data2數據整合在一個變量里
(2)將所有函數放在一個類中,也可以避免全局變量數據存活時間太長


總結,雖然使用全局變量很省事,不用傳參,其他函數改變其值再被其他函數調用很方便,卻會導致內存泄漏,因為每一次reload時產生的是新的內存地址。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM