文 陈肃 DataPipeline CTO 随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。 服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的数据持久化架构，在带来可伸缩性好处的同时，也给数据的融合计算带来了障碍。 由于数据散落在不同的数据库 消息队列 文件系统中，计算平台如果直接访问这些数据，会遇 ...
2019-06-04 16:29 1 1400 推荐指数：
导读：传统ETL方案让企业难以承受数据集成之重，基于Kafka Connect构建的新型实时数据集成平台被寄予厚望。 在4月21日的Kafka Beijing Meetup第四场活动上，DataPipeline CTO陈肃分享了DataPipeline是如何基于Kafka Connect框架构建 ...
作者：DataPipeline数见科技CTO 陈肃 导读：传统ETL方案让企业难以承受数据集成之重，基于Kafka Connect构建的新型实时数据集成平台被寄予厚望。 在4月21日的Kafka Beijing Meetup第四场活动上，DataPipeline CTO陈肃分享 ...
Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具，可以更快捷和简单地将大量数据集合移入和移出Kafka的连接器。Kafka Connect为DataPipeline提供了一个相对成熟稳定的基础框架，还提供了一些开箱即用的工具，大大地降低研发的投入 ...
敏捷之歌 我抽数故我存在 | DBus 人人玩转流处理 | Wormhole 就当吾是数据库 | Moonbox 颜值最后十公里 | Davinci 导读：实时数据平台（RTDP，Real-time Data Platform）是一个重要且常见的大数据基础设施平台 ...
北京华恒信远拥有丰富国外各种主流实时数据库软件实施经验，根据系统集成商的项目实际要求，提供实时数据库选型咨询，目前国内外实时数据库分为四种类型：一种是国外传统实时数据库、国外组态软件供应商实时数据库、国内传统实时数据库和国内组态软件供应商实时数据库，下面分别介绍以上四种类型的实时数据 ...
导读：本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术 ...
DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于 ...
