Storm常见模式——TimeCacheMap
Storm中使用一种叫做TimeCacheMap的数据结构，用于在内存中保存近期活跃的对象，它的实现非常地高效，而且可以自动删除过期不再活跃的对象。 TimeCacheMap使用多个桶buckets来缩小锁的粒度，以此换取高并发读写性能。下面我们来看看TimeCacheMap内部是如何实现 ...
原文：Storm常见模式——流聚合
流聚合 stream join 是指将具有共同元组 tuple 字段的数据流 两个或者多个 聚合形成一个新的数据流的过程。 从定义上看，流聚合和SQL中表的聚合 table join 很像，但是二者有明显的区别：table join的输入是有限的，并且join的语义是非常明确的 而流聚合的语义是不明确的并且输入流是无限的。 数据流的聚合类型跟具体的应用有关。一些应用把两个流发出的所有的tuple都 ...
2012-06-04 19:26 2 21683 推荐指数：
相关推荐
Storm常见模式——BasicBolt
Storm中的很多Bolt都有一个最常见的处理步骤： 读入一个tuple； 根据这个输入tuple，提取后发射0个，1个或多个tuple； 最后，通过ack操作确认这个tuple被成功处理。 按照上述处理步骤，依次处理发向这个Bolt的各个tuple元组。 这种模式可以实现 ...
Storm常见模式——批处理
Storm对流数据进行实时处理时，一种常见场景是批量一起处理一定数量的tuple元组，而不是每接收一个tuple就立刻处理一个tuple，这样可能是性能的考虑，或者是具体业务的需要。 例如，批量查询或者更新数据库，如果每一条tuple生成一条sql执行一次数据库操作，数据量大的时候，效率会比批量 ...
Storm常见模式——分布式RPC
本文翻译自：https://github.com/nathanmarz/storm/wiki/Distributed-RPC，作为学习Storm DRPC的资料，转载必须以超链接形式标明文章原始出处及本文翻译链接。 分布式RPC（distributed RPC，DRPC）用于对Storm上大量 ...
Storm常见模式——求TOP N
Normal 0 7.8 磅 0 2 false false false EN-US ZH-CN X-NONE ...
Storm实战常见的问题
该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html ...
Storm（流计算）技术原理
流计算概述什么是流数据：数据有静态数据和流数据。 静态数据： 很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量历史数据就是静态数据。技术人员可以利用数据挖掘和OLAP（On-Line Analytical Processing）分析工具从静态数据中找到对企业有价值的信息 ...
Storm集群的DRPC模式
storm的DRPC模式的作用是实现从远程调用storm集群的计算资源，而不需要连接到集群的某一个节点。OK。那么storm实现DRPC主要是使用LinearDRPCTopologyBuilder这个类。下面就先来看看一个简单的例子，它的源码的github上。 import ...