原文:Storm-源码分析-Topology Submit-Client

Storm Client 最开始使用storm命令来启动topology, 如下 storm jar storm starter . . SNAPSHOT standalone.jar storm.starter.WordCountTopology 这个storm命令是用python实现的, 看看其中的jar函数, 很简单, 调用exec storm class, 其中jvmtype clien ...

2013-06-05 15:52 0 3142 推荐指数:

查看详情

Storm-源码分析-Topology Submit-Executor-mk-threads

对于executor thread是整个storm最为核心的代码, 因为在这个thread里面真正完成了大部分工作, 而其他的如supervisor,worker都是封装调用. 对于executor的mk-threads, 是通过mutilmethods对spout和bolt分别定义 ...

Tue Aug 06 01:22:00 CST 2013 3 2914
Storm-源码分析-Topology Submit-Nimbus

Nimbus Server Nimbus server, 首先从启动命令开始, 同样是使用storm命令"storm nimbus”来启动 看下源码, 此处和上面client不同, jvmtype="-server", 最终调用"backtype.storm ...

Wed Jun 19 23:28:00 CST 2013 5 2707
Storm-源码分析- metric

, (backtype.storm.daemon.builtin-metrics), 并注册到topology context里面 task会不断的利用如spout-ack ...

Tue Jul 30 22:23:00 CST 2013 0 3568
Storm-源码分析- Thrift的使用

1 IDL 首先是storm.thrift, 作为IDL里面定义了用到的数据结构和service 然后backtype.storm.generated, 存放从IDL通过Thrift自动转化成的Java代码 比如对于nimbus service 在IDL的定义为, 而对 ...

Wed Jun 05 00:50:00 CST 2013 5 3514
Storm-源码分析- Scheduler (backtype.storm.scheduler)

首先看看IScheduler接口的定义, 主要实现两个接口, prepare和schedule 对于schedule的参数注释写的非常清楚, topologies包含所有topology的静态信息, 而cluster中包含了topology的运行态信息 根据他们就可以来判断 ...

Sat Jun 15 01:41:00 CST 2013 3 2267
Storm-源码分析- Disruptor在storm中的使用

Disruptor 2.0, (http://ifeve.com/disruptor-2-change/) Disruptor为了更便于使用, 在2.0做了比较大的调整, 比较突出的是更换了几乎所有 ...

Thu Jul 11 00:18:00 CST 2013 0 4477
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM