一、动态渲染页面爬取 上节课我们了解了Ajax分析和抓取方式，这其实也是JavaScript动态渲染页面的一种情形，通过直接分析Ajax，借助requests和urllib实现数据爬取 但是jav ...

一、验证码识别 1.图形验证码的识别 识别图形验证码需要 tesserocr 库 OCR技术识别（光学字符识别，是指通过扫描字符，然后通过其形状将其翻译成电子文本的过程。）例如 中国知网注册页面 ...

一、app爬取 前面都是介绍爬取Web网页的内容，随着移动互联网的发展，越来越多的企业并没有提供Web页面端的服务，而是直接开发了App，更多信息都是通过App展示的 App爬取相比Web端更加容 ...

Splash是一个JavaScript渲染服务 是一个带有HTTP API的轻量级浏览器 同时对接了python的Twisted 和QT库 利用它可以实现对动态渲染页面的抓取 功能介绍 ...

一、分布式爬虫 前面我们了解Scrapy爬虫框架的基本用法 这些框架都是在同一台主机运行的 爬取效率有限 如果多台主机协同爬取 爬取效率必然成倍增长这就是分布式爬虫的优势 1. 分布式爬虫基本原理 ...