python的學習之旅---回調機制

回調機制

import requests

需要 requests 模塊的支持

 

需要回調函數的場景：進程池中任何一個任務一旦處理完了，就立即告知主進程：我好了額，你可以處理我的結果了。主進程則調用一個函數去處理該結果，該函數即回調函數

我們可以把耗時間（阻塞）的任務放到進程池中，然后指定回調函數（主進程負責執行），這樣主進程在執行回調函數時就省去了I/O的過程，直接拿到的是任務的結果。

from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor
import requests
import os
import time

def get(url):
    print('%s GET %s' %(os.getpid(),url))
    response=requests.get(url)
    if response.status_code == 200:
        return {'url':url,'text':response.text}

def parse(res):
    res=res.result()
    url=res['url']
    text=res['text']
    print('%s parse %s res:%s' %(os.getpid(),url,len(text)))

if __name__ == '__main__':
    urls = [
        'https://www.baidu.com',
        'https://www.python.org',
        'https://www.openstack.org',
        'https://help.github.com/',
        'http://www.sina.com.cn/'
    ]

    # p=ProcessPoolExecutor()
    # start=time.time()
    # l=[]
    # for url in urls:
    #     furture=p.submit(get,url)
    #     l.append(furture)
    # p.shutdown(wait=True)
    #
    # for furture in l:
    #     parse(furture)
    #
    # print(time.time()-start) #4.504257440567017

    p=ProcessPoolExecutor()
    start=time.time()
    for url in urls:
        future=p.submit(get, url)
        future.add_done_callback(parse) #parse(futrue)
    p.shutdown(wait=True)
    print(time.time()-start) #3.1761815547943115
    print(os.getpid())

 

future=p.submit(get, url) 　　　　　　　　　　  　　　　　　　　　　　　　　　　

future.add_done_callback(parse)                #parse(futrue) 　   把future對象傳給回調函數 parse 通過對象的 .result 獲取future的 return的值

也就是說如果使用回調函數， 子進程的函數必須要寫返回值。想要拿到返回值 必須要用　   .result