python變量的內存機制
作為一門簡單易用的語言,且配備海量的庫,python可謂是程序員手中的掌中寶,編程本身就是一種將人類思維轉化為計算機思維的技術,如果不需要去追求極致的運行效率同時又不限制於計算機內存空間,python無疑是目前最方便的語言了。
作為一個合格的程序員,自然是要知其然並知其所以然,除了能夠應用python來放飛自我之外,同時也要探究python其內部的運行原理,首當其沖的python編程中必須要用到的變量以及背后的運行機制。
注:以下示例在linux平台下編寫,使用python2.7
引用機制
python的變量-內存模型更像是C++中的引用機制,python中的每個變量不一定占用內存空間,變量更像是一份內存的引用,通過這個變量可以訪問到內存中的數據,舉個例子:
>>>a=10
>>>b=a
>>>c=[1,2,3,4]
>>>d=c
>>>print "%x%x" %(id(a),id(b))
>>>print "%x%x" %(id(c),id(d))
輸出結果:
b51080.b51080
7f28bf69b758.7f28bf69b758
其中id()是python的系統函數,返回對象的內存起始地址。
從結果可以看出,a與b,c與d變量對應的地址事實上為同一個地址,也就是當我們使用變量a和b時,使用的是同一個對象,而a,b是這個對象的引用,我們可以通過系統函數sys.getrefcount()來查看一個對象的引用數量:
>>>import sys
>>>a=257
>>>print sys.getrefcount(a)
>>>b=a
>>>print sys.getrefcount(a)
輸出結果:
2
3
顯然,這個結果並不在我們的預料當中,由於a和b在同一個地址,結果應該是1、2,為什么是2,3呢?
這是因為在sys.getrefcount()函數調用時,a作為參數也被引用了一次,所以出現了2、3的結果。
緩存小數據機制
上面講了python變量賦值時的內存機制,事情就這么完美結束了嗎?
並沒有!!!
我們再來看一個例子:
>>> a=10
>>> b=10
>>> print "%x.%x" %(id(a),id(b))
輸出結果:
b51080.b51080
看到這個結果,我緩緩摘下我的眼鏡,拿95%濃度的醫用酒精仔仔細細擦了三遍之后再戴上看,沒看錯!這兩個變量還是同一個地址內容的引用,這一次兩個變量的初始化是獨立的,並非賦值初始化,為什么兩個變量還是同一個地址的引用呢?
答案是:
在Python中,Python會有一個緩存對象的機制,以便重復使用。當我們創建多個等於1的引用時,實際上是讓所有這些引用指向同一個對象,以達到節省資源的目的
原來是這樣!!!
但是仔細一想,這不對吧?如果每個數據都進行緩存,那豈不是對內存空間的極度浪費?還是說內存回收機制會過一段時間回收一次垃圾內存?
我們再來看下面一個例子:
>>> a=100
>>> b=100
>>> print "%d%d" %(id(a),id(b))
>>> a=256
>>> b=256
>>> print "%d%d" %(id(a),id(b))
>>> a=257
>>> b=257
>>> print "%d%d" %(id(a),id(b))
輸出結果:
5223836.5223836
5225932.5225932
5241840.5241864
從結果來看,當a小於256時,這個值會被系統緩存循環利用,而當a>256時,系統並不會進行緩存(當然不僅僅是三次實驗的結果,博主后續還試了很多值,就不一一列出了)
我們來用另一種方法來驗證這個問題,即sys.getrefcount():
>>>import sys
>>>a=10
>>>print sys.getrefcount(a)
>>>a=257
>>>print sys.getrefcount(a)
輸出結果為:
15
2
結果顯而易見,10這個值被系統緩存,且在別處引用了多次,而257這個值為2(為什么為2而不是1在上面有解釋)
那么問題又來了,如果是其他類型的數據呢?我們接着看
>>>a="downey"
>>>b="downey"
>>>print "%d%d" %(id(a),id(b))
結果為:
39422528.39422528
短字符串也會有緩存機制
然后是list:
>>>a=[1,2,3]
>>>b=[1,2,3]
>>>print "%d%d" %(id(a),id(b))
39704576.39745176
list並沒有緩存機制,從這里可以看出,python的緩存機制並不針對所有變量類型
變量緩存結論
根據各種實驗以及多方查證,結果表明:
- python的變量其實是一種堆內存的引用,可以理解為一個實體的標簽,而在不同變量之間的拷貝復制(如a=b),他們所表示的對象實體是同一個
- python會對-5-256(包括256)的整型數據和短字符串進行緩存以節省多次分配銷毀的開銷
看到這里,喜歡思考的朋友們不禁就要問了,緩存這些整型數據和短字符串真的對性能有明顯提升嗎?python代碼中能有多少個整型變量?
答案是:整型變量對應整型的內存對象,但是整型的內存對象並不僅僅對應整型的變量類型,容器中的整形元素可能也是整形變量的引用
如果你還有疑惑,我們來看看下面的例子:
>>> import sys
>>> a=1
>>> sys.getrefcount(a)
128
>>> b=[1,2,3]
>>> sys.getrefcount(a)
129
從打印的結果可以看出,整型變量a=1,表示a指向對象1,為1的引用,b[0]也被初始化為1,同樣的,b[0]同時也是對象1的引用,對於所有容器而言,都是這種形式,看到這里,各位觀眾老爺們應該是有所理解了吧。
關於python變量內存機制對變量使用的影響可以參考這一篇博客:python函數調用時參數傳遞方式
內存回收
既然說到了內存機制,必然涉及到分配和回收的機制,內存分配就很簡單,在定義對象的時候用到進行內存的分配,而內存的回收則沒那么簡單,因為在內存回收的過程中,python無法執行其他任務,所以頻繁地內存回收會導致嚴重的效率問題,而內存回收間隔時間過長則會導致內存浪費嚴重,所以一般只有在特定時間內啟動內存回收。
python運行時,會記錄下來分配和釋放的次數,只有當兩個值的差大於某個數值時,即
分配次數-釋放次數>觸發回收的閾值
時,python進行垃圾回收,我們可以使用get_threshold()方法來獲取閾值:
>>>import gc
>>>print gc.get_threshold()
輸出結果:
(700,10,10)
這個700便是觸發內存回收的閾值。但是后面的兩個10又是什么意思呢?
這也是內存回收中的一種機制,叫做分代回收,這一策略的基本假設是:存在時間越久的對象,越不可能成為垃圾對象,即給予一些長期使用的對象更多信任。
Python將所有的對象分為0,1,2三代。所有的新建對象都是0代對象。當某一代對象經歷過垃圾回收,依然存活,那么它就被歸入下一代對象。垃圾回收啟動時,一定會掃描所有的0代對象。如果0代經過一定次數垃圾回收,那么就啟動對0代和1代的掃描清理。當1代也經歷了一定次數的垃圾回收后,那么會啟動對0,1,2,即對所有對象進行掃描
這兩個次數即上面get_threshold()返回的(700, 10, 10)返回的兩個10。也就是說,每10次0代垃圾回收,會配合1次1代的垃圾回收;而每10次1代的垃圾回收,才會有1次的2代垃圾回收。
我們也可以手動地調整觸發回收的閾值,聰明的朋友們可以猜到這個方法了,既然有get,必然相對應的就是set:
import gc
gc.set_threshold(600,8,7)
除了被動地等待系統回收,當然也可以手動地進行內存回收:
import gc
gc.collect()
其實java也好,python也好,每一種語言的內存機制將從根本上影響語言的執行效率,所以在內存的處理上會有很多更加復雜的細節,這里只是介紹了一個大體的框架,班門弄斧,歡迎路過的大神們指正和補充。
好了,關於python變量內存機制的問題就到此為止了,如果朋友們對於這個有什么疑問或者發現有文章中有什么錯誤,歡迎留言
個人郵箱:linux_downey@sina.com
原創博客,轉載請注明出處!
祝各位早日實現項目叢中過,bug不沾身.
(完)