在爬虫开发时，我们时常会遇到各种BUG各种问题，下面是我初步汇总的一些报错和解决方案。 在以后的学习中，如果遇到其他问题，我也会在这里进行更新。 各位如有什么补充，欢迎评论区留言~~~ 问题： IP被封，或者因访问频率太高被拦截？？？ 解决方案之一： 使用代理IP即可 ...

Python爬虫总结（二）常见数据类型 上一篇我们简单介绍了如何用Python发送 http/https 请求获取网上数据,从web上采集回来的数据的数据类型有很多种,主要有: 放在HTML里. 直接放在javascript里. 放在JSON里. 放在XML里. 注意 ...

一般比较小型的爬虫需求， 我是直接使用requests库 + bs4就解决了，再麻烦点就使用selenium解决js的异步 加载问题。相对比较大型的需求才使用框架，主要是便于管理以及扩展等。 一、爬虫技术库-urllib.request和requests库的使用（简单） 1. ...

今天seo的同事需要一个简单的爬虫工具， 根据一个url地址，抓取改页面的a连接，然后进入a连接里面的页面再次抓取a连接 1.需要一个全局的set([])集合来保存抓取的url地址 2.由于现在单页面也来越多，所以我们借用selenium来抓取页面内容， 由于页面内容比较多， 我们程序需要 ...

0x00 网络 1)通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库（基于pycurl）。 pycurl – 网络库（绑定libcurl）。 urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高 ...

目录 常用第三方库 爬虫框架 动态页面渲染 1. url请求分析 2. selenium 3. phantomjs 4. splash 5. spynner 爬虫防屏蔽策略 1. 修改 ...

爬虫是一个比较容易上手的技术，也许花5分钟看一篇文档就能爬取单个网页上的数据。但对于大规模爬虫，完全就是另一回事，并不是1*n这么简单，还会衍生出许多别的问题。 系统的大规模爬虫流程如图所示。 先检查是否有API API是网站官方提供的数据接口，如果通过调用API采集数据，则相当于在网 ...

一、爬虫之requests a、介绍：使用requests可以模拟浏览器的请求，比起之前用到的urllib，requests模块的api更加便捷（本质就是封装了urllib3） b、注意：requests发送请求是将网页内容下载来以后，并不会执行js代码，这需要我们自己分析目标 ...