Storm Spout
本文主要介绍了Storm Spout，并以KafkaSpout为例，进行了说明。 概念 数据源（Spout）是拓扑中数据流的来源。一般 Spout 会从一个外部的数据源读取元组然后将他们发送到拓扑中。根据需求的不同，Spout 既可以定义为可靠的数据源，也可以定义为不可靠的数据源。一个可靠 ...
原文：Storm-源码分析- spout (backtype.storm.spout)
. ISpout接口 ISpout作为实现spout的核心interface, spout负责feeding message, 并且track这些message. 如果需要Spout track发出的message, 必须给出message id, 这个message id可以是任意类型, 但是如果不指定或将message id置空, storm就不会track这个message 必须要注意的是 ...
2013-08-01 15:31 0 2890 推荐指数：
相关推荐
Storm-源码分析- Scheduler (backtype.storm.scheduler)
首先看看IScheduler接口的定义, 主要实现两个接口, prepare和schedule 对于schedule的参数注释写的非常清楚, topologies包含所有topology的静态信息, ...
Storm-源码分析-Stats (backtype.storm.stats)
会发现, 现在storm里面有两套metrics系统, metrics framework和stats framework 并且在所有地方都是同时注册两套, 貌似准备用metrics来替代stats, 但当前版本UI仍然使用stats 这个模块统计的数据怎么被使用, 1. ...
Storm-源码分析-Topology Submit-Task-TopologyContext (backtype.storm.task)
1. GeneralTopologyContext 记录了Topology的基本信息, 包含StormTopology, StormConf 已经从他们推导出的, task和component, ...
Storm-源码分析- metric
, (backtype.storm.daemon.builtin-metrics), 并注册到topology context里面 task会不断的利用如spout-ack ...
storm spout的速度抑制问题
个并发消费速度到了1w左右完全就上不去了，通过监控埋点分析出spout以及下游的bolt代码块里面的业 ...
Storm-源码分析- Disruptor在storm中的使用
Disruptor 2.0, (http://ifeve.com/disruptor-2-change/) Disruptor为了更便于使用, 在2.0做了比较大的调整, 比较突出的是更换了几乎所有 ...
Storm-源码分析- Thrift的使用
1 IDL 首先是storm.thrift, 作为IDL里面定义了用到的数据结构和service 然后backtype.storm.generated, 存放从IDL通过Thrift自动转化成的Java代码 比如对于nimbus service 在IDL的定义为, 而对 ...