python線程池（threadpool）

一、安裝

pip install threadpool   

二、使用介紹

（1）引入threadpool模塊

（2）定義線程函數   

（3）創建線程 池threadpool.ThreadPool()   

（4）創建需要線程池處理的任務即threadpool.makeRequests()   

（5）將創建的多個任務put到線程池中,threadpool.putRequest   

（6）等到所有任務處理完畢theadpool.pool()

import threadpool  
def ThreadFun(arg1,arg2):  
    pass  
def main():  
    device_list=[object1,object2,object3......,objectn]#需要處理的設備個數  
    task_pool=threadpool.ThreadPool(8)#8是線程池中線程的個數  
    request_list=[]#存放任務列表  
    #首先構造任務列表  
    for device in device_list:  
        request_list.append(threadpool.makeRequests(ThreadFun,[((device, ), {})]))  
    #將每個任務放到線程池中，等待線程池中線程各自讀取任務，然后進行處理，使用了map函數，不了解的可以去了解一下。  
    map(task_pool.putRequest,request_list)  
    #等待所有任務處理完成，則返回，如果沒有處理完，則一直阻塞  
    task_pool.poll()  
if __name__=="__main__":  
    main()  

說明：makeRequests存放的是要開啟多線程的函數，以及函數相關參數和回調函數，其中回調函數可以不寫（默認是無），也就是說makeRequests只需要2個參數就可以運行。

 

二、代碼實例

import time
def sayhello(str):
    print "Hello ",str
    time.sleep(2)

name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
for i in range(len(name_list)):
    sayhello(name_list[i])
print '%d second'% (time.time()-start_time)

改用線程池代碼,花費時間更少，更效率

import time
import threadpool  
def sayhello(str):
    print "Hello ",str
    time.sleep(2)

name_list =['xiaozi','aa','bb','cc']
start_time = time.time()
pool = threadpool.ThreadPool(10) 
requests = threadpool.makeRequests(sayhello, name_list) 
[pool.putRequest(req) for req in requests] 
pool.wait() 
print '%d second'% (time.time()-start_time)

 

 當函數有多個參數的情況，函數調用時第一個解包list，第二個解包dict，所以可以這樣：

def hello(m, n, o):
    """"""
    print "m = %s, n = %s, o = %s"%(m, n, o)
     
 
if __name__ == '__main__':
     
   # 方法1  
    lst_vars_1 = ['1', '2', '3']
    lst_vars_2 = ['4', '5', '6']
    func_var = [(lst_vars_1, None), (lst_vars_2, None)]
    # 方法2
    dict_vars_1 = {'m':'1', 'n':'2', 'o':'3'}
    dict_vars_2 = {'m':'4', 'n':'5', 'o':'6'}
    func_var = [(None, dict_vars_1), (None, dict_vars_2)]    
     
    pool = threadpool.ThreadPool(2)
    requests = threadpool.makeRequests(hello, func_var)
    [pool.putRequest(req) for req in requests]
    pool.wait()        

 需要把所傳入的參數進行轉換，然后帶人線程池。

def getuserdic():
    username_list=['xiaozi','administrator']
    password_list=['root','','abc123!','123456','password','root']
    userlist = []
    
    for username in username_list:
        
        user =username.rstrip()
        for password in password_list:
            pwd = password.rstrip()
            userdic ={}
            userdic['user']=user
            userdic['pwd'] = pwd
            tmp=(None,userdic)
            userlist.append(tmp)
    return userlist

 

擴展閱讀：

Python 多進程 multiprocessing.Pool類詳解