方法1. 之前由于公司项目需要，采集过google地图数据，还有一些大型网站数据。 经验如下： 1.IP必须需要，比如ADSL。如果有条件，其实可以跟机房多申请外网IP。 2.在有外网IP的机器上，部署代理服务器。 3.你的程序，使用轮训替换代理服务器来访问想要采集的网站 ...

背景 这两天一直在搞Java网络爬虫作为Java课程设计，目标是爬取豆瓣电影top250的影评，之后可能还需要进行情感分析，当然这就不是爬虫的内容了。我的爬虫程序在一开始只是一个页面一个页面的爬取信息，一直没出现什么太大问题，直到昨晚进行整体测试时，出现了IP被封的问题。大概仅仅爬取了数万条评论 ...

做微信营销活动或者APK下载推广时候，域名经常被封，如何做到微信中正常使用呢？这就要借助一些工具来实现有效的操作。 之前公司有一个新的APP项目上线，让我们在项目首页做个二维码，然后用户用手机扫一扫就能下载了。但是微信的扫一扫之后下载不了。 　　上网查了一下，微信自带的内置浏览器屏蔽了下载功能 ...

代理服务的介绍： 我们在做爬虫的过程中经常最初爬虫都正常运行，正常爬取数据，一切看起来都是美好，然而一杯茶的功夫就出现了错误。 如：403 Forbidden错误，“您的IP访问频率太高”错误，或者跳出一个验证码让我们输入，之后解封，但过一会又出现类似情况。 出现 ...

爬虫速度优化 优化硬盘存储：每个网页大概多大，加起来以后会有多大，需不需要压缩存储 优化内存，url去重：减少所有url放在一起去重时，内存不够用情况，使用bloomFilter算法，查询效率高 反抓取访问频率限制： 研究网站的反爬策略 多ip抓取 ...

很多专业的爬虫工作者都会觉得爬虫的技术没有那么深奥，所谓万变不离其宗，在复杂也只是那些个东西，但是要想真正的写好一套完美的爬虫程序又似乎没有那么简单。 原因就在于爬虫本身的功能是不难的，真正显示技术的是应对反爬虫技术。说到反爬虫最简单的应对方式就是封锁IP ...

1.概率分布睡眠 使用正态分布模拟范围波动的时间，更真实 正态分布是一种连续型概率分布，在自然界中很常见，如身高、寿命、考试成绩等，属于各种因素相加对结果的影响。 μ=1， σ=0.4 运行结果: 0.7064196787554182 1.2534987046066317 ...

对于我们开发的网站，如果网站的访问量非常大的话，那么我们就需要考虑相关的并发访问问题了。而并发问题是绝大部分的程序员头疼的问题， 但话又说回来了，既然逃避不掉，那我们就坦然面对吧~今天就让我们一起来 ...