公司主要做的事物聯網和數字孿生，下半年我們項目要接入大數據，要進行處理再整合Drools，進行規則預警。最近幾個月一直在忙pmp考試和平時工作，也沒有進行學習整理，最近就開始學習flink和kafka，記點筆記。 Flink組件棧 一個計算框架要有長遠的發展，必須打造一個完整的 Stack ...

前言 Flink 是一種流式計算框架，為什么我會接觸到 Flink 呢？因為我目前在負責的是監控平台的告警部分，負責采集到的監控數據會直接往 kafka 里塞，然后告警這邊需要從 kafka topic 里面實時讀取到監控數據，並將讀取到的監控數據做一些 聚合/轉換/計算 等操作 ...

1. 系統架構 Flink是一個分布式系統，用於有狀態的並行數據流處理。也就是說，Flink會分布式地運行在多個機器上。在分布式系統中，常見的挑戰有：如何對集群中的資源進行分配與管理、協調進程、數據存儲的高可用、以及異常恢復。 Flink自身並未實現這些功能，而僅關注在它自身的核心 ...

今天才知道，我之所以漂泊就是在向你靠近 一、Flink內部graph轉換圖 DataStream API（特有的） 二、graph的簡介 StreamGraph 1、根據用戶代碼生成最初的圖 2、程序拓撲 3、Client端生成 JobGraph 1、優化 ...

Flink系列博客，基於Flink1.6，打算分為三部分：原理、源碼、實例以及API使用分析，后期等系列博客完成后再弄一個目錄。 該系列博客是我自己學習過程中的一些理解，若有不正確、不准確的地方歡迎大伙留言分享。文中引用均已標注，若有侵權，請聯系我，立馬刪除！ 1、前言 　　在講 ...

狀態管理 之前我們提到過大多數流應用是有狀態的。很多operators會不斷的訪問並更新某中狀態，例如一個window中收集了多少條記錄，輸入源中當前讀到的位置，亦或是用戶定義的特定operators的狀態。無論是內置的operator還是用戶定義的operators，Flink對待 ...

序 工作中用Flink做批量和流式處理有段時間了，感覺只看Flink文檔是對Flink ProgramRuntime的細節描述不是很多， 程序員還是看代碼最簡單和有效。所以想寫點東西，記錄一下，如果能對別人有所幫助，善莫大焉。 說一下我的工作，在一個項目里 ...

行內大數據平台流計算： 一個作業啟動一個flink集群，各個作業的flink集群是隔離的，在web ui點擊cancel后將job cancel掉，同時將集群終止，將作業終止。 on k8s：一個tm一個slot。 on yarn：一個tm可有多個slot。 kafka topic ...