異步編程之使用yield from
yield from 是 Python3.3 后新加的語言結構。yield from的主要功能是打開雙向通道，把最外層的調用方法與最內層的子生成器連接起來。這兩者就可以進行發送值和返回值了，yeild from結構的本質是簡化嵌套的生產器，不理解這個是什么意思的話,下面我將用幾個例子來對其使用方法進行講解。
簡化for循環中的yeild
首先看一個
def gene():
for c in 'AB':
yield c #遇到yeild程序返回循環，下次從yeild后面開始。
for i in range(3):
yield i
if __name__=="__main__":
list(gene())#list內部會預激生成器
輸出
['A','B','0','1', '2']
上面的代碼可以簡寫成
def gene():
yield from 'ab'
yield from range(3)
if __name__=="__main__":
list(gene())
通過上面的代碼我們可以知道,yield from 可以簡化for循環里的yield表達式。當然yeild from的功能不僅僅是可以簡化for循環而已，要是這樣的話也就不值得，單獨寫一篇文章來介紹了。
我們仔細觀察,簡化后的式子有兩個yeild from,同樣的也就是說如果有10個for循環的yeild生成式,我們需要寫10個yeild from，此時我們要記得在python中如果重復的代碼出現了兩次以及以上就該考慮優化了。好了接下來我們看一個優化后的例子。
通過yield from鏈接可迭代對象
def chain(*args):
for i in args:
# for m in i:
# yield m
yield from i
p = list(chain("1234", "AB", [1, 2, 3, 4, 5]))
print(p)
輸出
['1', '2', '3', '4', 'A', 'B', 1, 2, 3, 4, 5]
這里對之前的例子做了個優化處理，通過*args可變參數，配合后面的for循環進行了多個可迭代對象的鏈接處理。下面來看一個復雜點的例子：(來自Python cookbook 3 ，github源碼地址 https://github.com/dabeaz/python-cookbook/blob/master/src/4/how_to_flatten_a_nested_sequence/example.py)
扁平化處理嵌套型的數據
# Example of flattening a nested sequence using subgenerators
from collections import Iterable
def flatten(items, ignore_types=(str, bytes)):
for x in items:
if isinstance(x, Iterable) and not isinstance(x, ignore_types):
yield from flatten(x)
else:
yield x
items = [1, 2, [3, 4, [5, 6], 7], 8]
# Produces 1 2 3 4 5 6 7 8
for x in flatten(items):
print(x)
items = ['Dave', 'Paula', ['Thomas', 'Lewis']]
for x in flatten(items):
print(x)
接下來通過說一下開篇提到的子生產器和調用方以及新的詞委托生成器。
了解幾個概念
yield from x 表達式對x對象做的第一件事是，調用 iter(x)，從中獲取一個迭代器。所以x是可迭代對象。上面的例子中的x如果是可迭代對象就會執行,yield from flatten(x).
PEP380 的標題是 ”syntax for delegating to subgenerator“(把指責委托給子生成.器的句法)。由此我們可以知道，yield from是可以實現嵌套生成器的使用。
yield from在看接下來的代碼之前我們必須知道這幾個概念：
委派生成器
包含yield from
子生成器
從yield from
調用方
調用委派生成器的客戶端（調用方）代碼,也就是運行入口。
ok,了解了這些我們看接下來的一個例子。
使用yeild from寫一個異步爬蟲
import requests
from collections import namedtuple ①
Response = namedtuple("rs", 'url status') ②
# 子生產器
def fecth(): ③
res=[]
while 1:
url = yield ④
if url is None: ⑤
break
req = requests.get(url)
res.append(Response(url=url, status=req.status_code))
return res
#委派生成器
def url_list(l, key):
while 1: ⑥
l[key] = yield from fecth() ⑦
#調用方
def main():
l = {}
u = ["http://www.baidu.com", "http://www.cnblogs.com"]
for index, url in enumerate(u):
if index == 0:
ul = url_list(l, index)
next(ul) ⑧
ul.send(url)⑨
ul.send(None)⑩
return l
if __name__ == '__main__':
res = main()
print(res)
接下來對上面的標准進行解釋:
① 引入一個具名元組,可以后面實現一個簡單的類。
② 對請求參數做一個格式化處理，后面通過獲取屬性即可。
③一個協程，通過requests模塊可以發起網絡請求。
④main函數的發送的值綁定到這里的url上
⑤ url為None即沒有url的時候結束循環的。
⑥這個循環每次都會新建一個fetch 實例，每個實例都是作為協程使用的生成器對象。
⑦ url_list發送的每個值都會經由yield from 處理，然后傳給fetch 實例。url_list會在yield from表達式處暫停，等待fetch實例處理客戶端發來的值。fetch實例運行完畢后，返回的值綁定到l[key] 上。while 循環會不斷創建fetch實例，處理更多的值。
⑧激活url_list生成器
⑨把各個url以及其序列號index，傳給url_list傳入的值最終到達fetch函數中,url_list並不知道傳入的是什么，同時url_list實例在yield from處暫停。直到fetch的一個實例處理完才進行賦值。
⑩關鍵的一步，ul把None傳入url_list，傳入的值最終到達fetch函數中，導致當前實例終止。然后繼續創建下一個實例。如果沒有ul.send(None)，那么fetch子生成器永遠不會終止，因為ul.send()發送的值實際是在fetch實例中進行，委派生成器也永遠不會在此激活，也就不會為l[key]賦值
參考資料：
流暢的python 第16章
PEP 380-- Syntax for Delegating to a Subgenerator
How Python 3.3 "yield from" construct works