在使用FTP模块时候，首先需要定义FTP的实例，才可以对FTP进行操作 拥有一个FTP实例之后，我们就可以对其进行操作。 下面是笔者在工作中编写的一段代码，其功能是简单地实现FTP的下载，上传，文件校验 客户配置界面 下面 ...

爬取过的数据跳过1、通过url判断2、通过数据指纹判断 创建爬虫项目 ：scrapy startproject xxx cd xxx 创建爬虫文件：scrapy genspider -t crawl spidername www.xxx.com 一、根据url判断 爬虫文件 ...

一、安装rsync服务端 1.查看是否安装rsync ps -ef | grep rsync 系统一般默认已安装，安装方法：yum -y install rsync（没有亲自验证）。 2.添加配 ...

前言 如上图所示，Apollo portal 更新配置后，进行轮询的客户端获取更新通知，然后再调用接口获取最新配置。不仅仅只有轮询，还有定时更新（默认 5 分钟一次）。目的就是让客户端能够稳定的获取到最新的配置。 一起来看看他的设计。 核心代码 具体的类 ...

...

在用kettle进行数据拉取时。 将资源库中number类型的字段值不做处理拉取到目标库string类型的字段内。出现 资源库为 0.96 拉取后 目标库 字段值为 .96 出现这种情况只需要cast函数将数字类型转换为字符类型。就可以解决问题了。 ...

在这里看到的解决方法 https://issues.apache.org/jira/browse/SPARK-1729 请是个人理解，有问题请大家留言。 其实本身flume是不支持像KAFKA一样的发布/订阅功能的，也就是说无法让spark去flume拉取数据，所以老外就想了个取巧 ...

　　最近,由于业务需求需要拉取微信公众号上发布过的文章的阅读人数,阅读次数等数据,其中遇到一些问题,在此总结 　　注意点: 1、接口侧的公众号数据的数据库中仅存储了2014年12月1日之后的数据，将查询不到在此之前的日期，即使有查到，也是不可信的脏数据； 2、请开发者在调用接口 ...