storm 批处理（窗口）
一、Storm Storm是一个实时的可靠地分布式流计算框架。一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）；通过Storm对消息进行计算聚合等预处理；把处理结果持久化到数据库或者HDFS做进一步深入分析。 Storm中分 ...
原文：Storm常见模式——批处理
Storm对流数据进行实时处理时，一种常见场景是批量一起处理一定数量的tuple元组，而不是每接收一个tuple就立刻处理一个tuple，这样可能是性能的考虑，或者是具体业务的需要。 例如，批量查询或者更新数据库，如果每一条tuple生成一条sql执行一次数据库操作，数据量大的时候，效率会比批量处理的低很多，影响系统吞吐量。 当然，如果要使用Storm的可靠数据处理机制的话，应该使用容器将这些tu ...
2012-06-19 18:30 5 12177 推荐指数：
相关推荐
Storm常见模式——TimeCacheMap
Storm中使用一种叫做TimeCacheMap的数据结构，用于在内存中保存近期活跃的对象，它的实现非常地高效，而且可以自动删除过期不再活跃的对象。 TimeCacheMap使用多个桶buckets来缩小锁的粒度，以此换取高并发读写性能。下面我们来看看TimeCacheMap内部是如何实现 ...
Storm常见模式——BasicBolt
Storm中的很多Bolt都有一个最常见的处理步骤： 读入一个tuple； 根据这个输入tuple，提取后发射0个，1个或多个tuple； 最后，通过ack操作确认这个tuple被成功处理。 按照上述处理步骤，依次处理发向这个Bolt的各个tuple元组。 这种模式可以实现 ...
Storm常见模式——流聚合
流聚合（stream join）是指将具有共同元组（tuple）字段的数据流（两个或者多个）聚合形成一个新的数据流的过程。 从定义上看，流聚合和SQL中表的聚合（table join）很像，但是二者 ...
storm概念学习及流处理与批处理的区别
在过去10 年中，随着互联网应用的高速发展，企业积累的数据量越来越大，越来越多。随着Google MapReduce、Hadoop 等相关技术的出现，处理大规模数据变得简单起来，但是这些数据处理技术都不是实时的系统，它们的设计目标也不是实时计算。毕竟实时的计算系统和基于批处理模型的系统 ...
Storm常见模式——分布式RPC
本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作为学习Storm DRPC的资料，转载必须以超链接形式标明文章原始出处及本文翻译链接。 分布式RPC（distributed RPC，DRPC）用于对Storm上大量 ...
Storm常见模式——求TOP N
Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE ...
Apache Flink Local模式部署——批处理和流处理
Apache Flink部署模式有如下三种模式：Flink Local 模式 Flink Standalone 模式 Flink ON YARN 模式 本文主要介绍Apache Flink的本地部署模式。 本地部署模式主要用于开发者程序调试测试使用。 1、启动Flink ...