一、背景 　　之前爬虫使用的是requests+多线程/多进程，后来随着前几天的深入了解，才发现，对于爬虫来说，真正的瓶颈并不是CPU的处理速度，而是对于网页抓取时候的往返时间，因为如果采用requests+多线程/多进程，他本身是阻塞式的编程，所以时间都花费在了等待网页结果的返回和对爬取到 ...

一、基本概念 进程：进程是一个具有独立功能的程序关于某个数据集合的一次运行活动。进程是操作系统动态执行的基本单元。 线程：一个进程中包含若干线程，当然至少有一个线程，线程可以利用进程所拥有的资源。线程是独立运行和独立调度的基本单元。 协程：协程是一种用户态的轻量级线程。协程无需线程上下文切换 ...

在多个协程中的线性控制流很容易通过内置的关键词await来管理。使用asyncio模块中的方法可以实现更多复杂的结构，它可以并发地完成多个协程。 一、asyncio.wait() 你可以将一个操作分成多个部分并分开执行，而wait(tasks)可以被用于中断任务集合(tasks ...

1、Python里面一般用gevent实现协程协程， 而协程就是在等待的时候切换去做别的操作，相当于将一个线程分块，充分利用资源 （1）低级版协程的实现 import gevent def test1(): print(1,2) gevent.sleep ...

都知道Python的多任务有些尴尬，多进程可以用多核，但是消耗大，线程吧，无能用多核，是全局解释器锁来回切，所以通常都比较青睐协程了，但是协程是基于生成器的，不使用第三方库的开发成本学习成本就上去了，目前用的多的就是Gevent，基于Greenlet，使用类似于线程，不过在Python3.5以上 ...

我们都知道，现在的服务器开发对于IO调度的优先级控制权已经不再依靠系统，都希望采用协程的方式实现高效的并发任务，如js、lua等在异步协程方面都做的很强大。 Python在3.4版本也加入了协程的概念，并在3.5确定了基本完善的语法和实现方式。同时3.6也对其进行了 ...

python爬虫---单线程+多任务的异步协程,selenium爬虫模块的使用 一丶单线程+多任务的异步协程 特殊函数 协程对象 任务对象 事件循环对象 编码流程 注意事项*** aiohttp模块的使用 二丶selenium模块 概述 ...

转自：https://blog.csdn.net/SL_World/article/details/86633611 在讲解之前，我们先来通过一幅图看清多进程和协程的爬虫之间的原理及其区别。(图片来源于网络) 这里，异步爬虫不同于多进程爬虫，它使用单线程(即仅创建一个事件循环，然后把所有 ...