了DataPipeline是如何基於Kafka Connect框架構建實時數據集成平台的應用實踐。以下內容 ...

Kafka Connect是一種用於在Kafka和其他系統之間可擴展的、可靠的流式傳輸數據的工具，可以更快捷和簡單地將大量數據集合移入和移出Kafka的連接器。Kafka Connect為DataPipeline提供了一個相對成熟穩定的基礎框架，還提供了一些開箱即用的工具，大大地降低研發的投入 ...

文 | 陳肅 DataPipeline CTO 隨着企業應用復雜性的上升和微服務架構的流行，數據正變得越來越以應用為中心。 服務之間僅在必要時以接口或者消息隊列方式進行數據交互，從而避免了構建單一數據庫集群來支撐不斷增長的業務需要。以應用為中心的數據持久化架構，在帶來可伸縮性好處 ...

一、概述 Apache Kafka 發展至今，已經是一個很成熟的消息隊列組件了，也是大數據生態圈中不可或缺的一員。Apache Kafka 社區非常的活躍，通過社區成員不斷的貢獻代碼和迭代項目，使得 Apache Kafka 功能越發豐富、性能越發穩定，成為企業大數據技術架構解決方案中重要的一環 ...

在這篇文章里，我們模擬了一個場景，實時分析訂單數據，統計實時收益。 場景模擬 我試圖覆蓋工程上最為常用的一個場景： 1）首先，向Kafka里實時的寫入訂單數據，JSON格式，包含訂單ID-訂單類型-訂單收益 2）然后，spark-streaming每十秒實時去消費kafka中的訂單數據 ...

簡介： 本文由知乎技術平台負責人孫曉光分享，主要介紹知乎 Flink 數據集成平台建設實踐。內容如下： 1. 業務場景 ； 2. 歷史設計 ； 3. 全面轉向 Flink 后的設計 ； 4. 未來 Flink 應用場景的規划。 本文由知乎技術平台負責人孫曉光分享，主要介紹知 ...

Flume和Kafka完成實時數據的采集 寫在前面 Flume和Kafka在生產環境中，一般都是結合起來使用的。可以使用它們兩者結合起來收集實時產生日志信息，這一點是很重要的。如果，你不了解flume和kafka，你可以先查看我寫的關於那兩部分的知識。再來學習，這部分的操作，也是可以的。 實時數據 ...

需求 ​ 已有Kafka服務，通過kafka服務數據（GPS）落地到本地磁盤（以文本文件存儲）。現要根據echarts實現一個實時車輛的地圖。 分析 前端實時展現：使用websocket技術，實現服務器端數據推送到前端展現 通過Java的kafka client端 ...