深入理解python的yield和generator


原文發表在我的博客主頁,轉載請注明出處

前言

沒有用過的東西,沒有深刻理解的東西很難說自己會,而且被別人一問必然破綻百出。雖然之前有接觸過python協程的概念,但是只是走馬觀花,這兩天的一次交談中,別人問到了協程,頓時語塞,死活想不起來曾經看過的東西,之后突然想到了yield,但為時已晚,只能說概念不清,所以本篇先縷縷python的生成器和yield關鍵字。

什么是生成器

  • 生成器是一個特殊的程序,可以被用作控制循環的迭代行為
  • 生成器類似於返回值為數組的一個函數,這個函數可以接收參數,可以被調用,但是,不同於一般的函數會一次性返回包含了所有數值的數組,生成器一次只產生一個值,這樣消耗的內粗數量大大減少,而且允許調用函數可以很快的開始處理前幾個返回值。因此,生成器看起來像一個函數但是表現的卻像一個迭代器。

python中的生成器

python提供了兩種基本的方式。

  • 生成器函數:也是用def來定義,利用關鍵字yield一次返回一個結果,阻塞,重新開始
  • 生成器表達式:返回一個對象,這個對象只有在需要的時候才產生結果

下面詳細講解。

生成器函數

為什么叫生成器函數?因為他隨着時間的推移生成了一個數值隊列。一般的函數在執行完畢之后會返回一個值然后退出,但是生成器函數會自動掛起,然后重新拾起繼續執行,他會利用yield關鍵字關起函數,給調用者返回一個值,同時保留了當前的足夠多的狀態,可以使函數繼續執行。生成器和迭代協議是密切相關的,可迭代的對象都有一個__next()__成員方法,這個方法要么返回迭代的下一項,要么引起異常結束迭代。
為了支持迭代協議,擁有yield語句的函數被編譯為生成器,這類函數被調用時返回一個生成器對象,返回的對象支持迭代接口,即成員方法__next()__繼續從中斷處執行執行。
看下面的例子:

# codes
def create_counter(n):
    print "create counter"
    while True:
        yield n
        print 'increment n'
        n += 1

cnt = create_counter(2)
print cnt
print next(cnt)
print next(cnt)

# output
<generator object create_counter at 0x0000000001D141B0>
create counter
2
increment n
3

分析一下這個例子:

  • 在create_counter函數中出現了關鍵字yield,預示着這個函數每次只產生一個結果值,這個函數返回一個生成器(通過第一行輸出可以看出來),用來產生連續的n值
  • 在創造生成器實例的時候,只需要像普通函數一樣調用就可以,但是這個調用卻不會執行這個函數,這個可以通過輸出看出來
  • next()函數將生成器對象作為自己的參數,在第一次調用的時候,他執行了create_counter()函數到yield語句,返回產生的值2
  • 我們重復的調用next()函數,每次他都會從上次被掛起的地方開始執行,直到再次遇到了yield關鍵字

為了更加深刻的理解,我們再舉一個例子。

#coding
def cube(n):
    for i in range(n):
        yield i ** 3

for i in cube(5):
    print i

#output
0
1
8
27
64

所以從理解函數的角度出發我們可以將yield類比為return,但是功能確實完全不同,在for循環中,會自動遵循迭代規則,每次調用next()函數,所以上面的結果不難理解。

生成器表達式:

生成器表達式來自於迭代和列表解析的組合,關於列表解析的概念和用法可以參見我之前的博客,生成器表達式和列表解析類似,但是他使用尖括號而不是方括號括起來的。如下代碼:

>>> # 列表解析生成列表
>>> [ x ** 3 for x in range(5)]
[0, 1, 8, 27, 64]
>>> 
>>> # 生成器表達式
>>> (x ** 3 for x in range(5))
<generator object <genexpr> at 0x000000000315F678>
>>> # 兩者之間轉換
>>> list(x ** 3 for x in range(5))
[0, 1, 8, 27, 64]

就操作而言,生成器表如果使用大量的next()函數會顯得十分不方便,for循環會自動出發next函數,所以可以按下面方式使用:

>>> for n in (x ** 3 for x in range(5)):
	print('%s, %s' % (n, n * n))

	
0, 0
1, 1
8, 64
27, 729
64, 4096
>>> 

兩者比較

一個迭代既可以被寫成生成器函數,也可以被協程生成器表達式,均支持自動和手動迭代。而且這些生成器只支持一個active迭代,也就是說生成器的迭代器就是生成器本身。

總結

想起了初中時候老師經常說的,眼觀千遍,不如手動一遍。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM