一、需求 　　最近准备爬取某电商网站的数据，先不考虑代理、分布式，先说效率问题（当然你要是请求的太快就会被封掉，亲测，400个请求过去，服务器直接拒绝连接，心碎），步入正题。一般情况下小白的我们第一个想到的是for循环，这个可是单线程啊。那我们考虑for循环直接开他个5个线程，问题来了，如果有 ...

python3标准库里自带线程池ThreadPoolExecutor和进程池ProcessPoolExecutor。 如果你用的是python2，那可以下载一个模块，叫threadpool，这是线程池。对于进程池可以使用python自带的multiprocessing.Pool ...

线程池 简单线程池 复杂线程池 线程池要点：1，创建线程池时，是在需要执行线程的时候创建线程，而不是创建好最大队列等待执行2，创建一个回调函数，检查出剩余队列的任务，当线程执行完函数的时候通知线程池，3，使用线程池时让其循环获取任务，并执行4，线程池，让其自行 ...

python 的线程池主要有threadpool，不过它并不是内置的库，每次使用都需要安装，而且使用起来也不是那么好用，所以自己写了一个线程池实现，每次需要使用直接import即可。其中还可以根据传入的特征量handlerkey来获取每个任务的结果。 原创文章，转载请备注原文 ...

简单实现一个线程池: import queue import threading import time class ThreadPool(object): #创建线程池类 def __init__(self, max_num=20): #创建一个最大长度为20的队列 ...

1.创建线程池ThreadPoolExecutor，提交任务submit()，查询状态done(),获取结果result() 2.取消任务cancel() 执行结果 3.as_completed() 执行 ...

一、简介 - 爬虫中为什么需要使用代理 　　一些网站会有相应的反爬虫措施，例如很多网站会检测某一段时间某个IP的访问次数，如果访问频率太快以至于看起来不像正常访客，它可能就会禁止这个IP的访问。所以我们需要设置一些代理IP，每隔一段时间换一个代理IP，就算IP被禁止，依然可以换个IP继续爬取 ...

为什么需要线程池 　　目前的大多数网络服务器，包括Web服务器、Email服务器以及数据库服务器等都具有一个共同点，就是单位时间内必须处理数目巨大的连接请求，但处理时间却相对较短。 　　传统多线程方案中我们采用的服务器模型则是一旦接受到请求之后，即创建一个新的线程，由该线程执行任务。任务执行 ...