打造實時數據集成平台——DataPipeline基於Kafka Connect的應用實踐
導讀：傳統ETL方案讓企業難以承受數據集成之重，基於Kafka Connect構建的新型實時數據集成平台被寄予厚望。 在4月21日的Kafka Beijing Meetup第四場活動上，DataPipeline CTO陳肅分享了DataPipeline是如何基於Kafka Connect框架構建 ...
原文：DataPipeline丨構建實時數據集成平台時，在技術選型上的考量點
文 陳肅 DataPipeline CTO 隨着企業應用復雜性的上升和微服務架構的流行，數據正變得越來越以應用為中心。 服務之間僅在必要時以接口或者消息隊列方式進行數據交互，從而避免了構建單一數據庫集群來支撐不斷增長的業務需要。以應用為中心的數據持久化架構，在帶來可伸縮性好處的同時，也給數據的融合計算帶來了障礙。 由於數據散落在不同的數據庫 消息隊列 文件系統中，計算平台如果直接訪問這些數據，會遇 ...
2019-06-04 16:29 1 1400 推薦指數：
相關推薦
打造實時數據集成平台——DataPipeline基於Kafka Connect的應用實踐
作者：DataPipeline數見科技CTO 陳肅 導讀：傳統ETL方案讓企業難以承受數據集成之重，基於Kafka Connect構建的新型實時數據集成平台被寄予厚望。 在4月21日的Kafka Beijing Meetup第四場活動上，DataPipeline CTO陳肅分享 ...
以Kafka Connect作為實時數據集成平台的基礎架構有什么優勢？
Kafka Connect是一種用於在Kafka和其他系統之間可擴展的、可靠的流式傳輸數據的工具，可以更快捷和簡單地將大量數據集合移入和移出Kafka的連接器。Kafka Connect為DataPipeline提供了一個相對成熟穩定的基礎框架，還提供了一些開箱即用的工具，大大地降低研發的投入 ...
如何設計實時數據平台（技術篇）
敏捷之歌 我抽數故我存在 | DBus 人人玩轉流處理 | Wormhole 就當吾是數據庫 | Moonbox 顏值最后十公里 | Davinci 導讀：實時數據平台（RTDP，Real-time Data Platform）是一個重要且常見的大數據基礎設施平台 ...
實時數據庫系統選型
北京華恆信遠擁有豐富國外各種主流實時數據庫軟件實施經驗，根據系統集成商的項目實際要求，提供實時數據庫選型咨詢，目前國內外實時數據庫分為四種類型：一種是國外傳統實時數據庫、國外組態軟件供應商實時數據庫、國內傳統實時數據庫和國內組態軟件供應商實時數據庫，下面分別介紹以上四種類型的實時數據 ...
如何設計實時數據平台（設計篇）
導讀：本文將會分上下兩篇對一個重要且常見的大數據基礎設施平台展開討論，即“實時數據平台”。 在上篇設計篇中，我們首先從兩個維度介紹實時數據平台：從現代數倉架構角度看待實時數據平台，從典型數據處理角度看待實時數據處理；接着我們會探討實時數據平台整體設計架構、對具體問題的考量以及解決思路。 在下篇技術 ...
DataHub——實時數據治理平台
DataHub 首先，阿里雲也有一款名為DataHub的產品，是一個流式處理平台，本文所述DataHub與其無關。 數據治理是大佬們最近談的一個火熱的話題。不管國家層面，還是企業層面現在對這個問題是越來越重視。數據治理要解決數據質量，數據管理，數據資產，數據安全等等。而數據治理的關鍵就在於 ...