python多進程編程常用到的方法

python中的多線程其實並不是真正的多線程，如果想要充分地使用多核CPU資源，在python中大部分情況需要使用多進程。python提供了非常好用的多進程包Multiprocessing，只需要定義一個函數，python會完成其它所有事情。借助這個包，可以輕松完成從單進程到並發執行的轉換。multiprocessing支持子進程、通信和共享數據、執行不同形式的同步，提供了Process、Queue、Pipe、LocK等組件

一、Process

語法：Process([group[,target[,name[,args[,kwargs]]]]])

參數含義：target表示調用對象；args表示調用對象的位置參數元祖；kwargs表示調用對象的字典。name為別名，groups實際上不會調用。

方法：is_alive()：

　　　join(timeout)：

　　　run()：

　　　start()：

　　　terminate()：

屬性：authkey、daemon(要通過start()設置)、exitcode(進程在運行時為None、如果為-N，表示被信號N結束)、name、pid。其中daemon是父進程終止后自動終止，且自己不能產生新的進程，必須在start()之前設置。

1.創建函數，並將其作為單個進程

from multiprocessing import Process
def func(name):
    print("%s曾經是好人"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()   #start()通知系統開啟這個進程

 

2.創建函數並將其作為多個進程

from multiprocessing import Process
import random,time

def hobby_motion(name):
    print('%s喜歡運動'% name)
    time.sleep(random.randint(1,3))

def hobby_game(name):
    print('%s喜歡游戲'% name)
    time.sleep(random.randint(1,3))

if __name__ == "__main__":
    p1 = Process(target=hobby_motion,args=('付婷婷',))
    p2 = Process(target=hobby_game,args=('科比',))
    p1.start()
    p2.start()

執行結果：

付婷婷喜歡運動
科比喜歡游戲

 

3.將進程定義為類（開啟進程的另一種方法，並不是很常用）

from multiprocessing import Process
class MyProcess(Process):
    def __init__(self,name):
        super().__init__()
        self.name = name

    def run(self):  #start()時，run自動調用，而且此處只能定義為run。
        print("%s曾經是好人"%self.name)

if __name__ == "__main__":
    p = MyProcess('kebi')
    p.start()  #將Process當作父類，並且自定義一個函數。

 

4.daemon程序對比效果

不加daemon屬性

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    print("this is over")

#執行結果
this is over
work start:Thu Nov 30 16:12:00 2017
work end:Thu Nov 30 16:12:02 2017

加上daemon屬性

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True   #父進程終止后自動終止，不能產生新進程，必須在start()之前設置
    p.start()
    print("this is over")

#執行結果
this is over

設置了daemon屬性又想執行完的方法：

import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.daemon = True
    p.start()
    p.join()  #執行完前面的代碼再執行后面的
    print("this is over")

#執行結果
work start:Thu Nov 30 16:18:39 2017
work end:Thu Nov 30 16:18:41 2017
this is over

 

5.join()：上面的代碼執行完畢之后，才會執行后i面的代碼。

先看一個例子：

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    print("this is over")

執行結果：
this is over   #最后執行，最先打印，說明start()只是開啟進程，並不是說一定要執行完
A lifelong friend:kebi,12048
A lifelong friend:maoxian,8252
A lifelong friend:xiaoniao,6068
Good bother:maoxian   #最先打印，第二位執行
Good bother:kebi     
Good bother:xiaoniao

添加join（）

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p.join()   #上面的代碼執行完畢之后，再執行后面的
    p1.start()
    p1.join()
    p2.start()
    p2.join()
    print("this is over")
    print(time.time() - start)

#執行結果
A lifelong friend:kebi,14804
Good bother:kebi
A lifelong friend:maoxian,11120
Good bother:maoxian
A lifelong friend:xiaoniao,10252  #每個進程執行完了，才會執行下一個
Good bother:xiaoniao
this is over
6.497815370559692   #2+1+3+主程序執行時間

改變一下位置

from multiprocessing import Process
import time,os,random
def func(name,hour):
    print("A lifelong friend:%s,%s"% (name,os.getpid()))
    time.sleep(hour)
    print("Good bother:%s"%name)
start = time.time()
if __name__ == "__main__":
    p = Process(target=func,args=('kebi',2))
    p1 = Process(target=func,args=('maoxian',1))
    p2 = Process(target=func,args=('xiaoniao',3))
    p.start()
    p1.start()
    p2.start()
    p.join()   #需要2秒
    p1.join()  #到這時已經執行完
    p2.join()   #已經執行了2秒，還要1秒
    print("this is over")
    print(time.time() - start)

#執行結果

A lifelong friend:kebi,13520
A lifelong friend:maoxian,11612
A lifelong friend:xiaoniao,17064  #幾乎是同時開啟執行
Good bother:maoxian
Good bother:kebi
Good bother:xiaoniao
this is over
3.273620367050171  #以最長時間的為主

 

6.其它屬性和方法

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    p.start()
    p.terminate()  #將進程殺死，而且必須放在start()后面，與daemon的功能類似

#執行結果
this is over

from multiprocessing import Process
import time
def func(name):
    print("work start:%s"% time.ctime())
    time.sleep(2)
    print("work end:%s"% time.ctime())

if __name__ == "__main__":
    p = Process(target=func,args=('kebi',))
    # p.daemon = True
    print(p.is_alive())
    p.start()
    print(p.name)   #獲取進程的名字
    print(p.pid)    #獲取進程的pid
    print(p.is_alive())  #判斷進程是否存在
    print("this is over")