數據來源：系統中可以采集到的數據，如用戶數據、業務數據等，也包含系統運行時產生的日志數據等。 數據采集：不同數據源生成數據類型格式存在差異，在數據采集前可能增加數據 ...

1.前言 目前實時計算的業務場景越來越多，實時計算引擎技術及生態也越來越成熟。以Flink和Spark為首的實時計算引擎，成為實時計算場景的重點考慮對象。那么，今天就來聊一聊基於Kafka的實時計算引擎如何選擇？Flink or Spark？ 2.為何需要實時計算？ 根據IBM的統計報告顯示 ...

前言 本文摘自本人《大數據重磅炸彈——實時計算框架 Flink》課程第二篇 自己之前發布過一篇 Chat 《大數據“重磅炸彈”：實時計算框架 Flink》，里面介紹了多種需求： 大數據發展至今，數據呈指數倍的增長，對實效性的要求也越來越高，於是像上面這種需求也變得越來越多 ...

實時計算是什么？## 請看下面的圖： 我們以熱賣產品的統計為例，看下傳統的計算手段： 將用戶行為、log等信息清洗后保存在數據庫中. 將訂單信息保存在數據庫中. 利用觸發器或者協程等方式建立本地索引，或者遠程的獨立索引. join訂單信息、訂單明細、用戶信息、商品信息 ...

實時計算平台中的彈性集群資源管理 本文系微博運維數據平台（DIP）在實時計算平台的研發過程中集群資源管理方面的一些經驗總結和運用，主要關注以下幾個問題： 異構資源如何整合？ 實時計算應用之間的物理資源如何隔離？ 集群資源利用率如何提高 ...

flink計算過程：Source->Transform->Sink 整體設計 消費kafka數據，解析、計算后，分兩路輸出 1 歸檔（HDFS） 2 業務應用（PG） 代碼實現 消費kafka：FlinkKafkaConsumer< ...

Connection refused 排查過程 connection refused 排查 起因 今天在連接 rabbitmq 時，報 Connection refused (如下圖 ...

線上問題的排查過程1、測試統一收口，2、產品判斷是否正常邏輯 | 測試判斷是否已經用例覆蓋 | 技術排查日志或代碼變更 ...