Flink 1.14 新特性預覽
簡介： 一文了解 Flink 1.14 版本新特性及最新進展 本文由社區志願者陳政羽整理，內容源自阿里巴巴技術專家宋辛童 (五藏) 在 8 月 7 日線上 Flink Meetup 分享的《Flink 1.14 新特性預覽》。主要內容為： 簡介 流批一體 ...
原文：HUDI-0.11.0 BUCKET index on Flink 新特性試用
.背景 在 . . 版本下，用默認的index FLINK STATE ，在upsert的模式下，幾十億級別的數據更新會很消耗內存以及ckp時過長，因此切換到 . . 的BUCKET索引 僅對於當前環境：flink . . hudi . . master . . cow hdfs 關鍵配置項： index.type BUCKET ， hoodie.bucket.index.num.buckets ...
2022-04-07 21:03 3 1162 推薦指數：
相關推薦
MySQL 5.6新特性 -- Index Condition Pushdown
Index Condition Pushdown(ICP)是針對mysql使用索引從表中檢索行數據時的一種優化方法。 在沒有ICP特性之前，存儲引擎根據索引去基表查找並將數據返回給mysql server，mysql server再根據where條件進行數據過濾 ...
Flink SQL 寫 hudi
# Flink SQL 寫 hudi 最近在做一個數據湖項目，基於 Hudi 的湖倉一體項目，計算引擎是 Flink + Spark 之前稍稍研究了一下數據湖的三個主要技術組件 IceBerg，以為可能會用，在網上看資料的時候，同樣也發現，IceBerg 對 Flink 比較親和，Hudi ...
Minio Bucket 通知試用&&說明
kafka 安裝 minio (mac local) config minio notify 路徑 ~/.minio/config.json 下載client 並配置minio server 創建bucket 並啟用 ...
Hudi-集成Flink(Flink操作hudi表)
一、安裝部署Flink 1.12 Apache Flink是一個框架和分布式處理引擎，用於對無界和有界數據流進行有狀態計算。Flink被設計在所有常見的集群環境中運行，以內存執行速度和任意規模來執行計算。 1.准備tar包 ...
Hudi on Flink在順豐的實踐應用
獲取PDF版本 請關注“實時流式計算” 后台回復 “flink1015” ...
Apache Hudi與Apache Flink集成
感謝王祥虎@wangxianghu 投稿 Apache Hudi是由Uber開發並開源的數據湖框架，它於2019年1月進入Apache孵化器孵化，次年5月份順利畢業晉升為Apache頂級項目。是當前最為熱門的數據湖框架之一。 1. 為何要解耦 Hudi自誕生至今一直使用Spark ...
大數據開發-Flink-1.13新特性
介紹 大概4月，Flink1.13就發布了，參加 了Flink1.13 的Meetup，收獲還是挺多，從大的方面講就是FlingSql的改進和優化，資源調度管理方面的優化，以及流批一體Flink在運行時與DataStream API的優化，另外就是State backend 模塊的優化，本篇 ...