項目實戰 從 0 到 1 學習之Flink（9）flink實時數倉從入門到實戰
第一章、flink實時數倉入門 一、依賴 二、Flink DataSet API編程指南 Flink最大的亮點是實時處理部分，Flink認為批處理是流處理的特殊情況，可以通過一套引擎處理批量和流式數據，而Flink在未來也會重點投入更多的資源到批流融合中。我在Flink ...
原文：項目實戰 從 0 到 1 學習之Flink （29）UDF實現
pom.xml 數組轉字符串 方法 方法 方法 字符串轉數組 字符串轉map map轉字符串 map轉Json map字符串轉json 按照hash進行排序 優化 固定順序 測試 測試結果 C: Program Files Java jdk . . bin java.exe javaagent:C: Program Files JetBrains IntelliJ IDEA . . lib id ...
2020-11-04 10:53 0 505 推薦指數：
相關推薦
項目實戰 從 0 到 1 學習之Flink（11）Flink 寫入數據到 Kafka
前言 之前文章 《從0到1學習Flink》—— Flink 寫入數據到 ElasticSearch 寫了如何將 Kafka 中的數據存儲到 ElasticSearch 中，里面其實就已經用到了 Flink 自帶的 Kafka source connector ...
項目實戰 從 0 到 1 學習之Flink （20）Flink讀取hdfs文件
接一下以一個示例配置來介紹一下如何以Flink連接HDFS 1. 依賴HDFS pom.xml 添加依賴 2. 配置 HDFS 將hdfs-site.xml和core-site.xml放入到src/main/resources目錄 ...
項目實戰 從 0 到 1 學習之Flink （21）Flink讀HBase並寫入HBase
這里讀HBase提供兩種方式，一種是繼承RichSourceFunction，重寫父類方法，一種是實現OutputFormat接口，具體代碼如下： 方式一：繼承RichSourceFunction 方式二：重寫TableInputFormat方法 ...
項目實戰 從 0 到 1 學習之Flink （23）Flink 讀取hive並寫入hive
1，讀取實現了，也是找的資料，核心就是實現了 HCatInputFormatHCatInputFormatBase 上面這兩個類，底層也是 繼承實現了 RichInputFormat： public abstract class HCatInputFormatBase<T> ...
flink入門到實戰（8）flink 有狀態 udf引發的大坑一
場景 最近在做一個畫像的任務，sql實現的，其中有一個udf，會做很多事情，包括將從redis讀出歷史值加權，並將中間結果和加權后的結果更新到redis。 大家都知道，flink 是可以支持事件處理的，也就是可以沒有時間的概念，那么在聚合，join等操作的時候，flink內部會維護 ...
項目實戰 從 0 到 1 學習之 Flink（8）大數據之Hudi + Kylin的准實時數倉實現
問題導讀：1、數據庫、數據倉庫如何理解？2、數據湖有什么用途？解決什么問題？3、數據倉庫的加載鏈路如何實現？4、Hudi新一代數據湖項目有什么優勢？在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少鋒 ...
Flink RetractStream示例及UDF函數實現
RetractPvUvSQL 代碼 UDF實現 實現參數為字符串的日期解析 因為flink 已經 ...