一、为什么需要建立爬虫代理ip池 在众多的网站防爬措施中，有一种是根据ip的访问频率进行限制的，在某段时间内，当某个ip的访问量达到一定的阀值时，该ip会被拉黑、在一段时间内被禁止访问。 这种时候，可以通过降低爬虫的频率，或者更改ip来应对。后者就需要 ...

了，然后你的爬虫就GG了。怎么办呢？我们可以通过设置代理来解决，付费代理的效果自然不必多说，但是对于学习阶段 ...

...

有时候频繁爬取一些网页。服务器发现你是爬虫后会封掉你的ip地址。这时候我们可以更改代理ip。更改代理ip，不同的浏览器有不同的实现方式。这里以Chrome浏览器为例来讲解： ...

集合（set）是一个无序不重复元素的序列。 它的主要作用如下： 去重，把一个列表变成集合，就自动去重了 关系测试，测试两组数据之前的交集、差集、并集等关系 set和dict类似，也 ...

此次要实现的目标是登录12306网站和查看火车票信息。 具体步骤 一、登录 登录功能是通过使用selenium实现的，用到了超级鹰来识别验证码。没有超级鹰账号的先注册一个账号，充值一点题分，然后把下载这个Python接口文件，再在里面添加一个use_cjy的函数，以后使用的时候传入 ...

一.网络爬虫（Web Crawler） 1.网络爬虫：是一种按照一定的规则，自动地抓取网上信息的程序或者脚本。 2.爬虫：为了获取网上大量的我们能看的到或看不到的数据 3.基本步骤：（1）定位要爬的网页地址；（2）获取网址的html文档；（3）解析网址的html文档；（4）搜寻要下载的数据 ...

前言： 用过很多种代理使用方式，这里总结一下. 1、urllib+socks5的代理1 2、如果本机挂了Shadowsocks代理，代理端口为1080，则代码可以修改为： 3、urllib+socks5的代理2 以上 ...