Flink流处理（三）- 数据流操作
3. 数据流操作 流处理引擎一般会提供一组内置的操作，用于对流做消费、转换，以及输出。接下来我们介绍一下最常见的流操作。 操作分为无状态的（stateless）与有状态的（stateful）。无状态的操作不包含任何内部状态。也就是说，处理此event时，并不需要任何其他历史event的信息 ...
原文：深度介绍Flink在字节跳动数据流的实践
本文是字节跳动数据平台开发套件团队在 月 日Flink Forward Asia : Flink Forward 峰会上的演讲分享，将着重分享Flink在字节跳动数据流的实践。 字节跳动数据流的业务背景 数据流处理的主要是埋点日志。埋点，也叫Event Tracking，是数据和业务之间的桥梁，是数据分析 推荐 运营的基石。 用户在使用App 小程序 Web等各种线上应用时产生的行为，主要通过埋点 ...
2022-01-12 13:10 1 1787 推荐指数：
相关推荐
字节跳动流式数据集成基于Flink Checkpoint两阶段提交的实践和优化
背景 字节跳动开发套件数据集成团队（DTS ，Data Transmission Service）在字节跳动内基于 Flink 实现了流批一体的数据集成服务。其中一个典型场景是 Kafka/ByteMQ/RocketMQ -> HDFS/Hive 。Kafka/ByteMQ ...
Flink资料（2）-- 数据流容错机制
。 ------------------------------------------------------------------------------------------------- 一、介绍 flink提供了可以一致地恢复数据流应用 ...
Flink SQL 如何实现数据流的 Join？
无论在 OLAP 还是 OLTP 领域，Join 都是业务常会涉及到且优化规则比较复杂的 SQL 语句。对于离线计算而言，经过数据库领域多年的积累，Join 语义以及实现已经十分成熟，然而对于近年来刚兴起的 Streaming SQL 来说 Join 却处于刚起步的状态。 其中最为关键的问题在于 ...
Apache Flink - 数据流容错机制
Apache Flink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。 从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint ...
字节跳动基于 Apache Hudi 的多流拼接实践方案
字节跳动数据湖团队在实时数仓构建宽表的业务场景中，探索实践出的一种基于 Hudi Payload 的合并机制提出的全新解决方案。 字节跳动数据湖团队在实时数仓构建宽表的业务场景中，探索实践出的一种基于 Hudi Payload 的合并机制提出的全新解决方案。 该方案在存储层提供对多流 ...
文件字节流、字符流、缓冲字节流、缓冲字符流、数据流
2、字符流（通常与缓冲字符流一起使用，提升效率。具体参考4）。直接对字符进行处理，无需字符/字节转换。 3、缓冲字节流 BufferedOutputStream BufferedInputStream 缓冲字节流可以提高效率。字节流可以认为是一个货物 ...
字节跳动基于Apache Hudi构建EB级数据湖实践
来自字节跳动的管梓越同学一篇关于Apache Hudi在字节跳动推荐系统中EB级数据量实践的分享。 接下来将分为场景需求、设计选型、功能支持、性能调优、未来展望五部分介绍Hudi在字节跳动推荐系统中的实践。 在推荐系统中，我们在两个场景下使用数据湖 我们使用 ...