Demo：基於 Flink SQL 構建流式應用
Flink 1.10.0 於近期剛發布，釋放了許多令人激動的新特性。尤其是 Flink SQL 模塊，發展速度非常快，因此本文特意從實踐的角度出發，帶領大家一起探索使用 Flink SQL 如何快速構建流式應用。 本文將基於 Kafka, MySQL, Elasticsearch, Kibana ...
原文：Flink系列之1.10版流式SQL應用
隨着Flink . 的發布，對SQL的支持也非常強大。Flink 還提供了 MySql, Hive，ES, Kafka等連接器Connector，所以使用起來非常方便。 接下來咱們針對構建流式SQL應用文章的梗概如下： . 搭建流式SQL應用所需要的環境准備。 . 構建一個按每小時進行統計購買量的應用。 . 構建每天以 分鍾的粒度進行統計應用。 . 構建按分類進行排行，取出想要的結果應用。 . ...
2020-03-15 16:05 0 4179 推薦指數：
相關推薦
Flink 1.10 SQL 寫HBase
Hbase 也是我們很常用的數據存儲組件，所以提前嘗試下用SQL 寫Hbase，中間也遇到一些坑，跟大家分享一下。 官網地址：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table ...
Flink sql 流式去重
在大數據的處理過程中會出現很多匯總類指標的計算，比如計算當日的每個類目下的用戶的訂單信息，就需要按類目分組，對用戶做去重。Flink sql 提供了 “去重” 功能，可以在流模式的任務中做去重操作。 官網文檔 去重 官網鏈接： [去重](https://ci.apache.org ...
Flink 1.10 SQL 寫ElasticSearch
官網對應頁面：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector Flink SQL ElasticSearch connector ...
Flink Batch SQL 1.10 實踐
Flink作為流批統一的計算框架，在1.10中完成了大量batch相關的增強與改進。1.10可以說是第一個成熟的生產可用的Flink Batch SQL版本，它一掃之前Dataset的羸弱，從功能和性能上都有大幅改進，以下我從架構、外部系統集成、實踐三個方面進行闡述。 架構 Stack ...
Flink 1.10 SQL 讀寫Kafka
最近因為疫情的原因，偷了好長時間的懶，現在終於開始繼續看Flink 的SQL 了 ———————————————— 電腦上的Flink 項目早就升級到了 1.10了，最近還在看官網新的文檔，趁着周末，體驗一下新版本的SQL API（踩一下坑）。 直接從之前的 雲邪大佬的Flink ...
使用flink Table &Sql api來構建批量和流式應用(3)Flink Sql 使用
從flink的官方文檔，我們知道flink的編程模型分為四層，sql層是最高層的api，Table api是中間層，DataStream/DataSet Api 是核心，stateful Streaming process層是底層實現。 其中， flink dataset ...
Flink 1.10 SQL 自定義KafkaUpsertSink
在 Flink 1.10 中SQL正式生產，在嘗試使用的時候，遇到了這樣的問題： KafkaTableSink 的 'update-mode' 只支持 ‘append’，如下面這樣： 看起來好像沒問題，因為kafka 也只能往里面寫數據，不能刪數據 官網鏈接：https ...