爬虫爬取网页数据的时候,有时候因访问频率太过于规律导致被服务器发现,出现访问超时或者被封ip的情况。所以,每一轮爬取,后面加一个随时等待时间,可以减少被发现的概率
主要用到random和time库
实现脚本如下
import random import time for a in range(10): b = random.randint(1,10)#随机从1到10内取一个整数值 print(a) time.sleep(b)#把随机取出的整数值传到等待函数中
以上
爬虫爬取网页数据的时候,有时候因访问频率太过于规律导致被服务器发现,出现访问超时或者被封ip的情况。所以,每一轮爬取,后面加一个随时等待时间,可以减少被发现的概率
主要用到random和time库
实现脚本如下
import random import time for a in range(10): b = random.randint(1,10)#随机从1到10内取一个整数值 print(a) time.sleep(b)#把随机取出的整数值传到等待函数中
以上
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。