Python並行（parallel）之談

簡介

可以先看看並發Concurrent與並行Parallel的區別

在談並行前，頭腦中總會浮出多線程、多進程、線程/進程同步、線程/進程通信等詞語。

那為什么需要同步、通信，它們之間的作用是怎樣的呢？

通信，稍微好理解，就是多線程/進程之間相互通話，比如我打電話呼叫你，我說什么，你答什么，或者我說，你只聽。它着重於數據的傳遞

同步，其實是相對於共享內存而言，比如，我們在同一時刻同一個地方修改了共享對象的數據，這樣就會導致數據的篡改，得不到理想中的結果，這時就需要同步。它的基礎是基於共享同一個對象而言。

 

現在軟件世界中，存在着很多模式和框架，比如設計模式，MVC框架，那么並行編程是否也存在某些模式呢？

常用的四種並行模式

1. 共享內存模式（The shared memory model）
2. 多線程模式（The multithread model）
3. 分布式內存/消息傳遞模式（The distributed memory/message passing model）
4. 數據並行模式（The data parallel model）

現在我們再來看看線程/進程同步，它們是不是基於共享內存模式；線程/進程通信對應着消息傳遞模式。

說明一點：數據並行，是將數據分割成多組相互獨立的數據處理。

設計並發程序的四個階段（PCAM設計方法學）：

1. 划分（Partitioning）:分解成小的任務，開拓並發性
2. 通訊（Communication）：確定諸任務間的數據交換，監測划分的合理性；
3. 組合（Agglomeration）：依據任務的局部性，組合成更大的任務；
4. 映射（Mapping）：將每個任務分配到處理器上，提高算法的性能。

案例演示

該案例，采用Python多進程實現。進程間通信在官網的例子叫做Exchanging objects between processes，進程同步在官網的例子叫做Synchronization between processes 以及 Sharing state between processes。

 

設計並發程序。

首先，任務分解：1個進程專門存儲數據，多個進程取數據並進行計算。

其次，進程通信：采取queue隊列供存取進程通信。

最后，組合：多個進程計算后的數據，怎么組合在一起呢？采取多進程的共享內存數據Value，如果是多個進程對共享數據操作，則需進行同步。

import multiprocessing

def make_data(queue, num, work_nums):
    for i in range(num):
        queue.put(i)
    for i in range(work_nums):
        queue.put(None)

def handle_data(queue, share_value, lock):
    while True:
        data = queue.get()
        if data is None:
            break
        lock.acquire()
        share_value.value = share_value.value + data
        lock.release()

if __name__ == "__main__":
    queue = multiprocessing.Queue()  # 進程間通信所用
    share_value = multiprocessing.Value("i", 0)  # 進程間共享所用
    lock = multiprocessing.Lock()  # 進程間共享內存時，采用鎖同步機制
    num = 10000  #
    work_nums = 5  # work進程個數
    sub_process = []  # 處理數據進程集合

    master_process = multiprocessing.Process(target=make_data, args=(queue, num, work_nums, ))  # 生成數據進程
    for i in range(work_nums):
        sub_process1 = multiprocessing.Process(target=handle_data, args=(queue, share_value, lock,))
        sub_process.append(sub_process1)

    master_process.start()
    for p in sub_process:
        p.start()

    master_process.join()
    for p in sub_process:
        p.join()

    # 結果對比
    result = 0
    for i in range(num):
        result = result + i
    print("result should be " + str(result))
    print("fact is " + str(share_value.value))

 

輸出結果：

result should be 49995000

fact is 49995000

 

 

 

 

 

 

參考：

1、《Python Parallel Programming Cookbook》

2、並行算法的一般設計過程