前言 我们之前写的爬虫都是单个线程的？这怎么够？一旦一个地方卡到不动了，那不就永远等待下去了？为此我们可以使用多线程或者多进程来处理。 首先声明一点！ 多线程和多进程是不一样的！一个是 thread 库，一个是 multiprocessing 库。而多线程 thread 在 Python ...

一、什么是多进程？ 　　像电脑上同时运行多个软件，比如在打开微信的同时，也打开了QQ与钉钉，这就是多进程。 二、什么是多线程？ 　　一个进程中可以进行多种操作，即在QQ上既可以发送消息也可视频/语音，这就是多线程。 三、主进程/子进程 　　主进程下面可能会有好多子进程，即不一定一个运行 ...

python爬虫之多线程、多进程 使用多进程、多线程编写爬虫的代码能有效的提高爬虫爬取目标网站的效率。 多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人 ...

python爬虫之多线程、多进程 使用多进程、多线程编写爬虫的代码能有效的提高爬虫爬取目标网站的效率。 一、什么是进程和线程 引用廖雪峰的官方网站关于进程和线程的讲解： 进程：对于操作系统来说，一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开 ...

多线程： 什么是多线程： 理解：默认情况下，一个程序只有一个进程和一个线程，代码是依次线性执行的。而多线程则可以并发执行，一次性多个人做多件事，自然比单线程更快。 官方：https://baike.baidu.com/item/多线程/1190404?fr=aladdin ...

应用场景 1、多进程 ：CPU密集程序2、多线程 ：爬虫(网络I/O)、本地磁盘I/O 知识点回顾 队列 线程模块 小米应用商店抓取(多线程) 目标 网址 ：百度搜 - 小米应用商店，进入官网，应用分类 - 聊天社交 目标 ：爬取应用名称和应用 ...

一、 程序，进程，线程 程序:由源代码生成的可执行应用。（例如：QQ，淘宝等） 进程：一个正在运行的程序可以看做一个进程，进程拥有独立运行所需要的全部资源。（例如：打开QQ相当于开启一个进程） 线程：程序中独立运行的代码段。（例如：在QQ这个进程中，传输文字是一个线程，传输语音 ...

多线程和多进程爬虫 一.线程 1.什么是线程。 线程是操作系统能够进行运算调度的最小单位。它被包含在进程中，是进城中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个线程可以并发多个线程，每条线程执行不同的任务。 2.线程常用的方法 方法 ...