进程池的概念，定义一个池子，在里面放上固定数量的进程，有需求来了，就拿一个池中的进程来处理任务，等到处理完毕，进程并不关闭，而是将进程再放回进程池中继续等待任务。如果有很多任务需要执行，池中的进程数量不够，任务就要等待之前的进程执行任务完毕归来，拿到空闲进程才能继续执行。也就是说，池中进程的数量是固定的，那么同一时间最多有固定数量的进程在运行。这样不会增加操作系统的调度难度，还节省了开闭进程的时间，也一定程度上能够实现并发效果
进程池无IO堵塞的情况
# -*- coding: utf-8 -*- import os from multiprocessing import Pool def func(n): return n**2 if __name__ == '__main__': pool = Pool() obj_lst = [] for i in range(6): p_obj = pool.apply_async(func, args=(i,)) # 异步执行进程 obj_lst.append(p_obj) pool.close() # 不再向进程池提交新的任务了 pool.join() # 进程池中的进程都执行完了 print([p_obj.get() for p_obj in obj_lst]) # [0, 1, 4, 9, 16, 25]
# coding:utf-8 import time from multiprocessing import Process, Pool def func(n): pass if __name__ == '__main__': num = 10 start_pool_time = time.time() pool = Pool(5) pool.map(func, range(num)) # map是异步执行的，并且自带close和join print("通过进程池执行的时间:", time.time() - start_pool_time) std_start_time = time.time() for i in range(num): pass print("正常执行的执行时间:", time.time() - std_start_time) pro_start_time = time.time() p_lst = [] for i in range(num): p = Process(target=func, args=(i,)) p.start() p_lst.append(p) [pp.join() for pp in p_lst] print("多进程的执行时间:", time.time() - pro_start_time) # 通过进程池执行的时间: 0.46875 # 正常执行的执行时间: 0.0 # 多进程的执行时间: 0.828125 #一般约定俗成的是进程池中的进程数量为CPU的数量，工作中要看具体情况来考量。
有IO阻塞的情况
# coding:utf-8 import time from multiprocessing import Process, Pool def func(n): time.sleep(1) if __name__ == '__main__': num = 10 start_pool_time = time.time() pool = Pool(5) pool.map(func, range(num)) print("通过进程池执行的时间:", time.time() - start_pool_time) std_start_time = time.time() for i in range(num): time.sleep(1) print("正常执行的执行时间:", time.time() - std_start_time) pro_start_time = time.time() p_lst = [] for i in range(num): p = Process(target=func, args=(i,)) p.start() p_lst.append(p) [pp.join() for pp in p_lst] print("多进程的执行时间:", time.time() - pro_start_time) # 通过进程池执行的时间: 2.578125 # 正常执行的执行时间: 10.0 # 多进程的执行时间: 1.75
从Python3.2开始，标准库为我们提供了concurrent.futures模块，它提供了ThreadPoolExecutor和ProcessPoolExecutor两个类，实现了对threading和multiprocessing的进一步抽象（这里主要关注线程池），不仅可以帮我们自动调度线程，还可以做到：
1、主线程可以获取某一个线程（或者任务的）的状态，以及返回值。
2、当一个线程完成的时候，主线程能够立即知道。
3、让多线程和多进程的编码接口一致。