【Python】多進程處理多個數據文件

 

【問題描述】

有多個數據文件，采用相同的處理函數進行處理。如果采用串行的思想對文件進行處理，那就需要分別處理每一個文件，所需要的時間非常長。

所以，需要采用多進程的方法，對多個數據文件采用並行的方式進行處理，處理時間縮短明顯。

【實現方法】

主函數：

import multiprocessing

　　……

    pool=multiprocessing.Pool(processes=32)
    print('開始多進程處理過程！')
    for A1PRE_file in A1PRE_filename_list:
        pool.apply_async(func=AIS_demod_main, args=(A1PRE_file,satelliteID,processID,outPath,logger,))
        print(A1PRE_file)

    pool.close()
    pool.join()

主要思想就是采用並行處理函數

pool.apply_async

對多個文件進行處理。

【其他問題】

python3.7.4版本中，采用上述代碼可以實現多進程處理。但是python3.6中apply_async函數無法正常執行，程序不報錯，運行到該函數后直接跳過。

所以，采用該函數需要注意python的版本。