Python多線程同步命令行模擬進度顯示

最近在一個Python(3.5)的小項目中需要用到多線程加快處理速度，同時需要顯示進度，於是查了些資料找到幾個實現方法：線程池的map-reduce和Queue結合線程的實現。這里簡單的實例介紹一下Queue結合線程的實現方法。

 

這個示例的主要功能是利用Queue和Thread模擬一個固定線程數的線程池，實現一個命令行窗口里的進度顯示，比如（1%~100%）。

import multiprocessing
from threading import Lock, Thread
from queue import Queue
import time
import sys

q = Queue()

# numTag和Lock用來演示多線程同步
numTag = 0
lock = Lock()

"""
    用來演示輸出
"""
def print_num(item):
    time.sleep(0.5)
    # 聲明numTag是全局變量，所有的線程都可以對其進行修改
    global numTag
    with lock:
        numTag += 1
        # 輸出的時候加上'\r'可以讓光標退到當前行的開始處，進而實現顯示進度的效果
        sys.stdout.write('\rQueue Item: {0}\tNumTag:{1}%'.format(str(item), str(numTag)))

"""
    worker是一個中間件，把Queue接收到的值傳給對應的功能函數進行處理
"""
def worker():
    while True:
        item = q.get()
        if item is None:
            break
        print_num(item)
        q.task_done()

if __name__ == '__main__':
    # 根據CPU的數量創建對應數量的線程
    threadCount = multiprocessing.cpu_count()
    for i in range(threadCount):
        t = Thread(target=worker)
        # 設置daemon為True, 可以讓線程在主線程退出的時候一起結束
        # 否則線程還會繼續等待
        t.daemon = True
        t.start()

    # 通過Queue給線程傳值
    for i in range(100):
        q.put(i)

    q.join()
    print('')

最終輸出結果（進度會以每0.5秒增長4%的速度進行更新）：

參考鏈接：https://docs.python.org/3.5/library/queue.html#Queue.Queue