0 簡介 　　Apache Flink是一個分布式流處理器，具有直觀和富有表現力的API，可實現有狀態的流處理應用程序。它以容錯的方式有效地大規模運行這些應用程序。 Flink於2014年4月加入Apache軟件基金會作為孵化項目，並於2015年1月成為頂級項目。從一開始，Flink就擁有一個 ...

1 初識 Flink 　　Flink 項目的理念是：“Apache Flink 是為分布式、高性能、隨時可用以及准確的流處理應用程序打造的開源流處理框架”。 　　Apache Flink 是一個框架和分布式處理引擎，用於對無界和有界數據流進行有狀態計算 ...

　　本章介紹了Flink DataStream API的基本知識。我們展示了典型的Flink流處理程序的結構和組成部分，還討論了Flink的類型系統以及支持的數據類型，還展示了數據和分區轉換操作。窗口操作符，基於時間語義的轉換操作，有狀態的操作符，以及和外部系統的連接器將在接下來的章節進行介紹 ...

1 設置並行度 Flink應用程序在一個像集群這樣的分布式環境中並行執行。當一個數據流程序提交到作業管理器執行時，系統將會創建一個數據流圖，然后准備執行需要的操作符。每一個操作符將會並行化到一個或者多個任務中去。每個算子的並行任務都會處理這個算子的輸入流中的一份子集。一個算子並行任務的個數叫做 ...

1 系統架構 　　Flink是一個用於有狀態的並行數據流處理的分布式系統。它由多個進程構成，這些進程一般會分布運行在不同的機器上。對於分布式系統來說，面對的常見問題有：集群中資源的分配和管理、進程協調調度、持久化和高可用的數據存儲，以及故障恢復。 　　對於這些分布式系統的經典問題，業內已有 ...

1 產生傳感器讀數代碼編寫（讀取數據源） 1.1 從批讀取數據 scala version java version 1.2 從文件讀取數據 scala vers ...

1 數據流編程簡介 在我們深入研究流處理的基礎知識之前，讓我們來看看在數據流程編程的背景和使用的術語。 1.1 數據流圖 　　顧名思義，數據流程序描述了數據如何在算子之間流動。數據流程序通常表示為有向圖，其中節點稱為算子，用來表示計算，邊表示數據之間的依賴性。算子是數據流程序的基本功能單元 ...

1 部署方式 1.1 獨立集群 獨立集群包含至少一個master進程，以及至少一個TaskManager進程，TaskManager進程運行在一台或者多台機器上。所有的進程都是JVM進程。下圖展示 ...