Python 多進程異常處理

前言

最近項目用到了Python作為網站的前端，使用的框架是基於線程池的Cherrypy，但是前端依然有一些比較‘重’的模塊。由於python的多線程無法很好的利用多核的性質，所以覺得把這些比較‘重’的功能用多進程進行管理。

Python 多進程編程

Python的多進程編程主要依賴multiprocessing庫，父進程的參數直接拷貝給子進程，因為Linux進程的copy on write特性，如果子進程不對參數進行修改就不會進行拷貝工作，也就是說父進程，子進程共享參數。而參數的返回則通過管道pipe進行。
下面是簡單的代碼例子：

import multiprocessing

def heavy_load_func(N, child_conn):
    '''function do heavy computing'''
    
    try:

            #do_some_heavy_computing

        child_conn.send(return_value)  #return something
        
    except Exception,e:
        child_conn.send(e)  #將異常通過管道送出
        

if __name__=='__main__'
    '''main function'''
    try:
        parent_conn, child_conn = multiprocessing.Pipe()
        hild_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
        child_process.start()
        child_process.join()
        child_return = parent_conn.recv()
        print child_return
    except Exception,e:
        logger.error(e)

多進程異常處理

但是如果heavy_load_func在執行過程中拋出異常就比較麻煩了，當然我們可以通過Pipe將捕捉到的異常信息傳到父進程，但是這樣父進程只是得到了一條返回值，並沒有觸發父進程的異常機制，如何把子進程的異常拋出給父進程進行處理呢？

本文提供一種方法，通過引入一個代理類Process對multiprocessing.Process進行重載，Process中重寫multiprocessing.Process的run方法，並且加入exception屬性，通過exception來判斷子進程是否觸發異常。

class Process(multiprocessing.Process):
    def __init__(self, *args, **kwargs):
        multiprocessing.Process.__init__(self, *args, **kwargs)
        self._pconn, self._cconn = multiprocessing.Pipe()
        self._exception = None

    def run(self):
        try:
            multiprocessing.Process.run(self)
            self._cconn.send(None)
        except Exception as e:
            tb = traceback.format_exc()
            self._cconn.send((e, tb))

    @property
    def exception(self):
        if self._pconn.poll():
            self._exception = self._pconn.recv()
        return self._exception

這樣我們的代碼就可以寫成這樣：

if __name__=='__main__':
    '''main function'''
    try:
        parent_conn, child_conn = multiprocessing.Pipe()
        #child_process = multiprocessing.Process(target=heavy_load_func, args=(10, child_conn))
        child_process = Process(target=heavy_load_func, args=(10, child_conn))
        child_process.start()
        child_process.join()
        if child_process.exception:
            error, traceback = child_process.exception
            print error
            child_process.terminate()
        else:
            child_return = parent_conn.recv()  #如果不子進程不拋出異常就接受值，否則主進程退出，避免主進程被管道阻塞！
            print child_return
    except Exception, e:
        print e

總結

本文主要介紹了一種Python多進程異常處理的方法，通過引入代理類來進行異常的轉發。文章介紹的比較簡單，其實里面有很多東西。