Python中的多進程：fork和multiprocessing

Python的多進程

套路1：os.fork()

先敲段代碼：

#!/usr/bin/env python3

import os

os.fork()
print('1111111111')

執行結果：

1111111111
1111111111

• fork函數一旦運行就會生出一條新的進程，2個進程一起執行導致輸出了2行。

---

再敲段代碼：

#!/usr/bin/env python3

import os
import time

res = os.fork()
print('res == %d'%res)
if res == 0:
    print('我是子進程,我的pid是:%d,我的父進程id是:%d'%(os.getpid(),os.getppid()))
else:
    print('我是父進程,我的pid是:%d'%os.getpid())

執行結果：

res == 105297
我是父進程,我的pid是:105296
res == 0
我是子進程,我的pid是:105297,我的父進程id是:105296

• fork()運行時，會有2個返回值，返回值為大於0時，此進程為父進程，且返回的數字為子進程的PID；當返回值為0時，此進程為子進程。
• 注意：父進程結束時，子進程並不會隨父進程立刻結束。同樣，父進程不會等待子進程執行完。
• 注意：os.fork()無法在windows上運行。

---

套路2：multiprocessing.Process

先敲段代碼，來創建一個進程：

#!/usr/bin/env python3

from multiprocessing import Process
import time

def A():
    while True:
        print('正在調用函數')
        time.sleep(1)

p = Process(target = A) #創建進程對象,並指定進程將來要執行的函數.
p.start()  #啟動進程.

執行結果：

正在調用函數
正在調用函數
正在調用函數
......

---

再敲段代碼，實現多進程同步執行：

#!/usr/bin/env python3
import time
from multiprocessing import Process

def A(num):
    while True:
        print('正在調用函數%d'%num)
        time.sleep(1)

for i in range(2):
    p = Process(target = A, args = (i,)) #創建進程對象,並指定進程將來要執行的函數.
    p.start()  #啟動進程.
    
    exit()
    

執行結果：

正在調用函數1
正在調用函數2
正在調用函數1
正在調用函數2
...

• 注意，Process創建的進程必須執行完，主程序才會結束，用exit()也不能強退。

---

套路3：multiprocessing.Process的run()方法

上代碼

#!/usr/bin/env python3

import os
import time
from multiprocessing import Process

class NewProcess(Process): #繼承Process類創建一個新類
    def __init__(self,num):
        self.num = num
        super().__init__()

    def run(self):  #重寫Process類中的run方法.
        while True:
            print('我是進程%d,我的pid是:%d'%(self.num,os.getpid()))
            time.sleep(1)

for i in range(2):
    p = NewProcess(i)
    p.start()

執行結果：

我是進程0,我的pid是:105653
我是進程1,我的pid是:105654
我是進程0,我的pid是:105653
我是進程1,我的pid是:105654
我是進程0,我的pid是:105653
我是進程1,我的pid是:105654
...

• 當不給Process指定target時，會默認調用Process類里的run()方法。這和指定target效果是一樣的，只是將函數封裝進類之后便於理解和調用。

---

套路4：multiprocessing.Pool 進程池

#!/usr/bin/env python3

import time
from multiprocessing import Pool

def A():
    for i in range(5):
        print(i)
        time.sleep(1)

pool = Pool(2) #定義進程池大小
for i in range(5):
    pool.apply_async(A) #使用非阻塞方式調用func，阻塞是apply()

pool.close() #關閉Pool，使其不再接受新的任務
pool.join() #主進程阻塞，等待子進程的退出

• 對Pool對象調用join()方法會等待所有子進程執行完畢。調用join()之前必須先調用close()，調用close()之后就不能繼續添加新的Process了。
• Pool.terminate()：一旦運行到此步，不管任務是否完成，立即終止。

---