Kafka Connect是一种用于在Kafka和其他系统之间可扩展的 可靠的流式传输数据的工具，可以更快捷和简单地将大量数据集合移入和移出Kafka的连接器。Kafka Connect为DataPipeline提供了一个相对成熟稳定的基础框架，还提供了一些开箱即用的工具，大大地降低研发的投入和提升应用的质量。 下面，我们看一看Kafka Connect的具体优势。 首先，Kafka Connec ...
2018-04-27 13:24 1 1373 推荐指数：
导读：传统ETL方案让企业难以承受数据集成之重，基于Kafka Connect构建的新型实时数据集成平台被寄予厚望。 在4月21日的Kafka Beijing Meetup第四场活动上，DataPipeline CTO陈肃分享了DataPipeline是如何基于Kafka Connect框架构 ...
了DataPipeline是如何基于Kafka Connect框架构建实时数据集成平台的应用实践。以下内容 ...
文 | 陈肃 DataPipeline CTO 随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。 服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处 ...
在这篇文章里，我们模拟了一个场景，实时分析订单数据，统计实时收益。 场景模拟 我试图覆盖工程上最为常用的一个场景： 1）首先，向Kafka里实时的写入订单数据，JSON格式，包含订单ID-订单类型-订单收益 2）然后，spark-streaming每十秒实时去消费kafka中的订单数据 ...
需求 已有Kafka服务，通过kafka服务数据（GPS）落地到本地磁盘（以文本文件存储）。现要根据echarts实现一个实时车辆的地图。 分析 前端实时展现：使用websocket技术，实现服务器端数据推送到前端展现 通过Java的kafka client端 ...
Flume和Kafka完成实时数据的采集 写在前面 Flume和Kafka在生产环境中，一般都是结合起来使用的。可以使用它们两者结合起来收集实时产生日志信息，这一点是很重要的。如果，你不了解flume和kafka，你可以先查看我写的关于那两部分的知识。再来学习，这部分的操作，也是可以的。 实时数据 ...
1参考资料 （1）实时数据库简介, http://blog.csdn.net/liqfyiyi/article/details/6862886 （2）实时数据库简介和比较， http://www.cnblogs.com/zljini/archive/2006/05/17/402422.html ...
可以访问 这里 查看更多关于 消息中间件 的原创文章。 移山是禧云自研的数据迁移平台，包含异构数据源的迁移、实时数据同步等服务。有兴趣的可以看这里：了解在移山中怎么实现异构数据源的迁移； 本文主要介绍移山实时数据同步服务产生的背景以及整体架构 ...
