第一章、flink實時數倉入門 一、依賴 二、Flink DataSet API編程指南 Flink最大的亮點是實時處理部分，Flink認為批處理是流處理的特殊情況，可以通過一套引擎處理批量和流式數據，而Flink在未來也會重點投入更多的資源到批流融合中。我在Flink ...

1，讀取實現了，也是找的資料，核心就是實現了 HCatInputFormatHCatInputFormatBase 上面這兩個類，底層也是 繼承實現了 RichInputFormat： publ ...

前言 之前文章 《從0到1學習Flink》—— Flink 寫入數據到 ElasticSearch 寫了如何將 Kafka 中的數據存儲到 ElasticSearch 中，里面其實就已經用到了 Flink 自帶的 Kafka source connector ...

接一下以一個示例配置來介紹一下如何以Flink連接HDFS 1. 依賴HDFS pom.xml 添加依賴 2. 配置 HDFS 將hdfs-site.xml和core-site.xml放入到src/main/resources目錄 ...

這里讀HBase提供兩種方式，一種是繼承RichSourceFunction，重寫父類方法，一種是實現OutputFormat接口，具體代碼如下： 方式一：繼承RichSource ...

前言、flink介紹： 　　Apache Flink 是一個分布式處理引擎，用於在無界和有界數據流上進行有狀態的計算。通過對時間精確控制以及狀態化控制，Flink能夠運行在任何處理無界流的應用中，同時對有界流，則由一些專為固定數據集設計的算法和數據結構進行了內部處理，從而提升了性能 ...

1、checkPoint （1.1）Flink 中的每個方法或算子都是有狀態的。 狀態化的方法在處理元素/事件的時候存儲數據，使得狀態成為使各個類型的算子重要部分。 Flink 通過為狀態添加 checkpoint（檢查點），使狀態具備容錯能力。 （1.2）Flink的CheckPoint ...

1、pom.xml 2、數組轉字符串 1、方法① 2、方法② 3、方法③ 3、字符串轉數組 4、字符串轉 ...