Python簡單多進程multiprocessing.Pool類


轉自:偽·計算機科學家|真·碼農

首先介紹一個簡單粗暴,非常實用的工具,就是 multiprocessing.Pool。如果你的任務能用 ys = map(f, xs) 來解決,大家可能都知道,這樣的形式天生就是最容易並行的,那么在 Python 里面並行計算這個任務真是再簡單不過了。舉個例子,把每個數都平方:

 1 import multiprocessing
 2 
 3 def f(x):
 4     return x * x
 5 
 6 cores = multiprocessing.cpu_count()
 7 pool = multiprocessing.Pool(processes=cores)
 8 xs = range(5)
 9 
10 # method 1: map
11 print pool.map(f, xs)  # prints [0, 1, 4, 9, 16]
12 
13 # method 2: imap
14 for y in pool.imap(f, xs):
15     print y            # 0, 1, 4, 9, 16, respectively
16 
17 # method 3: imap_unordered
18 for y in pool.imap_unordered(f, xs):
19     print(y)           # may be in any order

map 直接返回列表,而 i 開頭的兩個函數返回的是迭代器;imap_unordered 返回的是無序的。

當計算時間比較長的時候,我們可能想要加上一個進度條,這個時候 i 系列的好處就體現出來了。另外,有一個小技巧,就是輸出 \r 可以使得光標回到行首而不換行,這樣就可以制作簡易的進度條了。

1 cnt = 0
2 for _ in pool.imap_unordered(f, xs):
3     sys.stdout.write('done %d/%d\r' % (cnt, len(xs)))
4     cnt += 1

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM