url无限采集工具
一丶运行环境：python3 + redis数据库
二丶采集原理：从初始关键词里面采集网址，然后在网址里面爬取关键字，一边采集关键字，一边采集网址，redis数据库自动去重，多线程模式采集网址加url
地球不爆炸 采集不停止
redis数据库安装参考：https://www.cnblogs.com/xiaomage666/p/11528092.html
最好是放服务器采集，速度快，我本机只做一个基本的演示！
现在数据库里面是没任何内容的 现在开始采集：
可以中途暂停，只要数据库里面的内容不被清空，下次继续采集不会受影响
我本机环境恶劣 放服务器里面是最好的
尽管这样 一分钟也可以采集好几千url 自动去重的！！！ 本机网速太慢，。。。服务器的话 一天可以采集上百万url 前提是你服务器配置高 网速快！
