python 進程池pool

進程池：   

   在利用Python進行系統管理的時候，特別是同時操作多個文件目錄，或者遠程控制多台主機，並行操作可以節約大量的時間。當被操作對象數目不大時，可以直接利用multiprocessing中的Process動態成生多個進程，十幾個還好，但如果是上百個，上千個目標，手動的去限制進程數量卻又太過繁瑣，此時可以發揮進程池的功效。  

    Pool可以提供指定數量的進程供用戶調用，當有新的請求提交到pool中時，如果池還沒有滿，那么就會創建一個新的進程用來執行該請求；但如果池中的進程數已經達到規定最大值，那么該請求就會等待，直到池中有進程結束，才會創建新的進程來它。

 

Pool相關函數

1、apply(func[, args[, kwds]]) 
apply用於傳遞不定參數，同python中的apply函數一致（不過內置的apply函數從2.3以后就不建議使用了），主進程會阻塞於函數。

主進程的執行流程同單進程一致。

2、apply_async(func[, args[, kwds[, callback]]]) 
與apply用法一致，但它是非阻塞的且支持結果返回后進行回調。

主進程循環運行過程中不等待apply_async的返回結果，在主進程結束后，即使子進程還未返回整個程序也會退出。雖然 apply_async是非阻塞的，但其返回結果的get方法卻是阻塞的，如使用result.get()會阻塞主進程。
如果我們對返回結果不感興趣， 那么可以在主進程中使用pool.close與pool.join來防止主進程退出。注意join方法一定要在close或terminate之后調用。

3、map(func, iterable[, chunksize]) 
map方法與在功能上等價與內置的map()，只不過單個任務會並行運行。它會使進程阻塞直到結果返回。
但需注意的是其第二個參數雖然描述的為iterable, 但在實際使用中發現只有在整個隊列全部就緒后，程序才會運行子進程。 

4、map_async(func, iterable[, chunksize[, callback]]) 
與map用法一致，但是它是非阻塞的。其有關事項見apply_async。

5、imap(func, iterable[, chunksize]) 
與map不同的是， imap的返回結果為iter，需要在主進程中主動使用next來驅動子進程的調用。即使子進程沒有返回結果，主進程對於gen_list(l)的 iter還是會繼續進行， 另外根據python2.6文檔的描述，對於大數據量的iterable而言，將chunksize設置大一些比默認的1要好。
   for x in pool.imap(pool_test, gen_list(l)):
       pass

6、imap_unordered(func, iterable[, chunksize]) 
同imap一致，只不過其並不保證返回結果與迭代傳入的順序一致。

7、close() 
關閉pool，使其不再接受新的任務。

8、terminate() 
結束工作進程，不再處理未處理的任務。

9、join() 
主進程阻塞等待子進程的退出， join方法要在close或terminate之后使用。

例：

# -*- coding: UTF-8 -*-

from gevent.pool import Pool
from gevent import monkey
monkey.patch_all()

 

#要在調用進程池執行的函數

def sayHi(num):

  print "def print result:",num

#進程池最大運行數

p = Pool(4)

#模擬並發調用線程池

for i in range(10):

  p.map(sayHi,[i])


 

執行結果：

def print result: 0

def print result: 1

def print result: 2

def print result: 3

def print result: 4

def print result: 5

def print result: 6

def print result: 7

def print result: 8

def print result: 9