首先介紹一個簡單粗暴,非常實用的工具,就是 multiprocessing.Pool。如果你的任務能用 ys = map(f, xs) 來解決,大家可能都知道,這樣的形式天生就是最容易並行的,那么在 Python 里面並行計算這個任務真是再簡單不過了。舉個例子,把每個數都平方:
1 import multiprocessing 2 3 def f(x): 4 return x * x 5 6 cores = multiprocessing.cpu_count() 7 pool = multiprocessing.Pool(processes=cores) 8 xs = range(5) 9 10 # method 1: map 11 print pool.map(f, xs) # prints [0, 1, 4, 9, 16] 12 13 # method 2: imap 14 for y in pool.imap(f, xs): 15 print y # 0, 1, 4, 9, 16, respectively 16 17 # method 3: imap_unordered 18 for y in pool.imap_unordered(f, xs): 19 print(y) # may be in any order
map 直接返回列表,而 i 開頭的兩個函數返回的是迭代器;imap_unordered 返回的是無序的。
當計算時間比較長的時候,我們可能想要加上一個進度條,這個時候 i 系列的好處就體現出來了。另外,有一個小技巧,就是輸出 \r 可以使得光標回到行首而不換行,這樣就可以制作簡易的進度條了。
1 cnt = 0 2 for _ in pool.imap_unordered(f, xs): 3 sys.stdout.write('done %d/%d\r' % (cnt, len(xs))) 4 cnt += 1