很多专业的爬虫工作者都会觉得爬虫的技术没有那么深奥，所谓万变不离其宗，在复杂也只是那些个东西，但是要想真正的写好一套完美的爬虫程序又似乎没有那么简单。 原因就在于爬虫本身的功能是不难的，真正显示技术的是应对反爬虫技术。说到反爬虫最简单的应对方式就是封锁IP ...

1、国内测试： http://tool.chinaz.com/port 2、国外测试： https://www.yougetsignal.com/tools/open-ports/ 3、测试j结论： 将自己IP和端口分别输入以下两个网站的测试栏中 ...

国外VPS的IP被封一直是比较热门的话题，我们在使用国外VPS搭建网站或者学习Linux技术时首先要保证IP可用性，以及端口的可访问性，老王自己就有好几台国外VPS，这里分享下自己平常检测IP是否被封，以及端口是否被封的方法。 一、ping检测 Windows用户打开cmd，Mac用户打开 ...

方法1. 之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。 经验如下： 1.IP必须需要，比如ADSL。如果有条件，其实可以跟机房多申请外网IP。 2.在有外网IP的机器上，部署代理服务器。 3.你的程序，使用轮训替换代理服务器来访问想要采集的网站 ...

背景 这两天一直在搞Java网络爬虫作为Java课程设计，目标是爬取豆瓣电影top250的影评，之后可能还需要进行情感分析，当然这就不是爬虫的内容了。我的爬虫程序在一开始只是一个页面一个页面的爬取信息，一直没出现什么太大问题，直到昨晚进行整体测试时，出现了IP被封的问题。大概仅仅爬取了数万条评论 ...

1.概率分布睡眠 使用正态分布模拟范围波动的时间，更真实 正态分布是一种连续型概率分布，在自然界中很常见，如身高、寿命、考试成绩等，属于各种因素相加对结果的影响。 μ=1， σ=0.4 运 ...

步骤： * 打开/etc/gitlab/gitlab.rb文件。 * 查找gitlab_rails['rack_attack_git_basic_auth']关键词。 * 取消注释 * 修改ip_whitelist白名单属性，加入Gitlab部署的IP地址 ...

1.设置代理ip 2.延长访问时间 3.伪装成浏览器 ...