Flink流處理（三）- 數據流操作
3. 數據流操作 流處理引擎一般會提供一組內置的操作，用於對流做消費、轉換，以及輸出。接下來我們介紹一下最常見的流操作。 操作分為無狀態的（stateless）與有狀態的（stateful）。無狀態的操作不包含任何內部狀態。也就是說，處理此event時，並不需要任何其他歷史event的信息 ...
原文：深度介紹Flink在字節跳動數據流的實踐
本文是字節跳動數據平台開發套件團隊在 月 日Flink Forward Asia : Flink Forward 峰會上的演講分享，將着重分享Flink在字節跳動數據流的實踐。 字節跳動數據流的業務背景 數據流處理的主要是埋點日志。埋點，也叫Event Tracking，是數據和業務之間的橋梁，是數據分析 推薦 運營的基石。 用戶在使用App 小程序 Web等各種線上應用時產生的行為，主要通過埋點 ...
2022-01-12 13:10 1 1787 推薦指數：
相關推薦
字節跳動流式數據集成基於Flink Checkpoint兩階段提交的實踐和優化
背景 字節跳動開發套件數據集成團隊（DTS ，Data Transmission Service）在字節跳動內基於 Flink 實現了流批一體的數據集成服務。其中一個典型場景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ ...
Flink資料（2）-- 數據流容錯機制
。 ------------------------------------------------------------------------------------------------- 一、介紹 flink提供了可以一致地恢復數據流應用 ...
Flink SQL 如何實現數據流的 Join？
無論在 OLAP 還是 OLTP 領域，Join 都是業務常會涉及到且優化規則比較復雜的 SQL 語句。對於離線計算而言，經過數據庫領域多年的積累，Join 語義以及實現已經十分成熟，然而對於近年來剛興起的 Streaming SQL 來說 Join 卻處於剛起步的狀態。 其中最為關鍵的問題在於 ...
Apache Flink - 數據流容錯機制
Apache Flink提供了一種容錯機制，可以持續恢復數據流應用程序的狀態。該機制確保即使出現故障，程序的狀態最終也會反映來自數據流的每條記錄(只有一次)。 從容錯和消息處理的語義上(at least once, exactly once)，Flink引入了state和checkpoint ...
字節跳動基於 Apache Hudi 的多流拼接實踐方案
字節跳動數據湖團隊在實時數倉構建寬表的業務場景中，探索實踐出的一種基於 Hudi Payload 的合並機制提出的全新解決方案。 字節跳動數據湖團隊在實時數倉構建寬表的業務場景中，探索實踐出的一種基於 Hudi Payload 的合並機制提出的全新解決方案。 該方案在存儲層提供對多流 ...
文件字節流、字符流、緩沖字節流、緩沖字符流、數據流
2、字符流（通常與緩沖字符流一起使用，提升效率。具體參考4）。直接對字符進行處理，無需字符/字節轉換。 3、緩沖字節流 BufferedOutputStream BufferedInputStream 緩沖字節流可以提高效率。字節流可以認為是一個貨物 ...
字節跳動基於Apache Hudi構建EB級數據湖實踐
來自字節跳動的管梓越同學一篇關於Apache Hudi在字節跳動推薦系統中EB級數據量實踐的分享。 接下來將分為場景需求、設計選型、功能支持、性能調優、未來展望五部分介紹Hudi在字節跳動推薦系統中的實踐。 在推薦系統中，我們在兩個場景下使用數據湖 我們使用 ...