已经快一年没有写博客了，实在是太忙了，忙到已经没有时间写文章。近半年的时间一直在忙着一个新项目，最近终于有了阶段性成果，觉得很有必要写写文章来记录一下这个新的项目。趁着这两天赶路的空闲时间记录分享一下项目的经验和过程。 　　(一) 这是一个什么类型的项目 　　　　其实自己做吉 ...

分享一个某代理网站的免费代理ip的爬虫，直接复制到pycharm运行就可以了。 注意：爬取的代理ip有点坑，因为是免费的所以过期时间很快，可能1分钟后就会失效。并且在scrapy使用这些代理ip还会给你打印一堆广告。且用且珍惜。 ...

发现个不错Fofa工具，转载分享一波，仅供学习代码使用。 作者链接 相关用法 脚本源码 ...

1　什么是网络爬虫 网络爬虫是指从网站提取数据的技术，该技术可以将非结构化数据转换为结构化数据。 网络爬虫的用途是从网站提取数据，提取的数据可以存储到本地文件并保存在系统中，也可以将其以表格的形式存储到数据库中。网络爬虫使用HTTP或Web浏览器直接访问万维网（WWW）。网络 ...

这两天 有小伙伴问小帅b 为什么我爬取 xx 网站的时候 不返回给我数据 而且还甩一句话给我 “系统检 ...

没有那么难的，嘿嘿，说起来呢其实挺简单的，或者不能叫爬虫，只需要将自己的数据加载到程序里再进行解析就可以了，如果说你的Qzone是向所有人开放的，那么就有一个JSONP的接口，这么说来就简单了，也就不用我们再利用phantomjs，缓慢的爬了。其实程序还没有做的太过完美，只是简单地可以打印出来说说 ...

*** 大家图片看不到的可以访问这个地址哈（都是微信图片封锁的锅）， https://mp.weixin.qq.com/s/JaCg3sb-OqGzUI06LNJj_A 或 ...

　　这几天在忙一个爬虫程序，一直在改进他，从一开始的单线程，好几秒一张图片(网络不好)，，，到现在每秒钟十几张图片，，， 四个小时586万条数据，，，简直不要太爽 先上图 　　 　　最终写出来的程序，线程数已经可以动态调整了，贼暴力。。。峰值能稳定在50个线程，具体思路可以继续 ...