twitter storm源码走读之3--topology提交过程分析
概要 storm cluster可以想像成为一个工厂，nimbus主要负责从外部接收订单和任务分配。除了从外部接单，nimbus还要将这些外部订单转换成为内部工作分配，这个时候nimbus充当了调度室的角色。supervisor作为中层干部，职责就是生产车间的主任，他的日常工作就是时刻等待着调度 ...
原文：twitter storm源码走读之6 -- Trident Topology执行过程分析
欢迎转载，转载请注明出处，徽沪一郎。 TridentTopology是storm提供的高层使用接口，常见的一些SQL中的操作在tridenttopology提供的api中都有类似的影射。关于TridentTopology的使用及运行原理，当前进行详细分析的文章不多。 从TridentTopology到vanilla topology 普通的topology 由三个层次组成： 面向最终用户的概念st ...
2013-12-26 09:30 0 2600 推荐指数：
相关推荐
storm源码分析之topology提交过程
storm集群上运行的是一个个topology，一个topology是spouts和bolts组成的图。当我们开发完topology程序后将其打成jar包，然后在shell中执行storm jar xxxxxx.jar xxxxxxxClass就可以将jar包上传到storm集群的nimbus ...
twitter storm源码走读之2 -- tuple消息发送场景分析
欢迎转载，转载请注明出处源自徽沪一郎。本文尝试分析tuple发送时的具体细节，本博的另一篇文章《bolt消息传递路径之源码解读》主要从消息接收方面来阐述问题，两篇文章互为补充。 worker进程内消息接收与处理全景图 先上幅图简要勾勒出worker进程接收到tuple消息之后的处理全过程 ...
2 storm的topology提交执行
本博文的主要内容有 .storm单机模式，打包，放到storm集群 .Storm的并发机制图 .Storm的相关概念 .附PPT 打包，放到storm集群去。我这里，是单机模式下的storm。 weekend110-storm -> ...
Storm-源码分析-Topology Submit-Nimbus-mk-assignments
什么是executor, 参考Storm-源码分析- Component ,Executor ,Tas ...
Storm-源码分析-Topology Submit-Executor-mk-threads
对于executor thread是整个storm最为核心的代码, 因为在这个thread里面真正完成了大部分工作, 而其他的如supervisor,worker都是封装调用. 对于executor的mk-threads, 是通过mutilmethods对spout和bolt分别定义 ...
Storm-源码分析-Topology Submit-Nimbus
Nimbus Server Nimbus server, 首先从启动命令开始, 同样是使用storm命令"storm nimbus”来启动 看下源码, 此处和上面client不同, jvmtype="-server", 最终调用"backtype.storm ...
Storm-源码分析-Topology Submit-Client
1 Storm Client 最开始使用storm命令来启动topology, 如下 storm jar storm-starter-0.0.1-SNAPSHOT-standalone.jar storm.starter.WordCountTopology 这个storm命令 ...