agent选择 agent1 exec source + memory channel + avro sink agent2 avro source + memory cha ...

Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据 ...

如果现在要想将flume中的sink设置为kafka，因为在实际的开发中，可能会有若干个子系统或者若干个客户端进行flume日志采集，那么能够承受这种采集任务量的只有kafka来完成，可是需要注意一个问题，现在的kafka是采用了Kerberos认证，所以要想在flume之中去使用kafka操作 ...

第1章 电商实时数仓介绍 1.1 普通实时计算与实时数仓比较 　　普通的实时计算优先考虑时效性，所以从数据源采集经过实时计算直接得到结果。如此做时效性更好，但是弊端是由于计算过程中的中间结果没有沉淀下来，所以当面对大量实时需求的时候，计算的复用性较差，开发成本随着需求增加直线 ...

大数据实时流式数据处理是大数据应用中最为常见的场景，与我们的生活也息息相关，以手机流量实时统计来说，它总是能够实时的统计出用户的使用的流量，在第一时间通知用户流量的使用情况，并且最为人性化的为用户提供各种优惠的方案，如果采用离线处理，那么等到用户流量超标了才通知用户，这样会使得用户体验满意度降低 ...

介绍： 　　Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚 合、传输的系统。 　　简单的说，Flume是实时采集日志的数据采集引擎。 　　重要组件：Source、Channel、Sink Agent本质上是一个 JVM 进程 ...

实时数据库（RTDB－Real Time DataBase）是数据库系统发展的一个分支，是数据库技术结合实时处理技术产生的。实时数据库系统是开发实时控制系统、数据采集系统、CIMS系统等的支撑软件。在流程行业中，大量使用实时数据库系统进行控制系统监控，系统先进控制和优化控制，并为企业 ...

前文 　　今天偶然刷新技术公众号的时候，看到一篇这样文章，是基于Flink有关于Mysql Binlog数据采集的方案，看了一下实践方法和具体操作有一些考虑情况不足的情况，缺少一些处理实际情况的操作。笔者之前有些过一些类似的采集工具实践的文章，但是并没有在整体上做出一个系统性的总结，所以我 ...