apache-storm-0.9.5/conf/storm.yaml
storm.yaml配置內容如下：
------------------------------------------------------------
storm.zookeeper.servers:
- "192.168.93.128"
- "192.168.93.129"
- "192.169.93.130"
nimbus.host: "192.168.93.128"
storm.local.dir: "/opt/apache-storm-0.9.5/status"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
------------------------------------------------------------
storm.yaml配置項詳細介紹
•storm.zookeeper.servers：
ZooKeeper服務器列表
•storm.zookeeper.port：
ZooKeeper連接端口
•storm.local.dir：
storm使用的本地文件系統目錄(必須存在並且storm進程可讀寫)
•storm.cluster.mode：
Storm集群運行模式([distributed|local])
•storm.local.mode.zmq：
Local模式下是否使用ZeroMQ作消息系統，如果設置為false則使用java消息系統。默認為false
•storm.zookeeper.root：
ZooKeeper中Storm的根目錄位置
•storm.zookeeper.session.timeout：
客戶端連接ZooKeeper超時時間
•storm.id：
運行中拓撲的id，由storm name和一個唯一隨機數組成。
•nimbus.host：
nimbus服務器地址
•nimbus.thrift.port：
nimbus的thrift監聽端口
•nimbus.childopts：
通過storm-deploy項目部署時指定給nimbus進程的jvm選項
•nimbus.task.timeout.secs：
心跳超時時間，超時后nimbus會認為task死掉並重分配給另一個地址
•nimbus.monitor.freq.secs：
nimbus檢查心跳和重分配任務的時間間隔。注意如果是機器宕掉nimbus會立即接管並處理
•nimbus.supervisor.timeout.secs：
supervisor的心跳超時時間，一旦超過nimbus會認為該supervisor已死並停止為它分發新任務
•nimbus.task.launch.secs：
task啟動時的一個特殊超時設置。在啟動后第一次心跳前會使用該值來臨時替代nimbus.task.timeout.secs
•nimbus.reassign：
當發現task失敗時nimbus是否重新分配執行。默認為真，不建議修改
•nimbus.file.copy.expiration.secs：
nimbus判斷上傳/下載鏈接的超時時間，當空閑時間超過該設定時nimbus會認為鏈接死掉並主動斷開
•ui.port：
Storm UI的服務端口
•drpc.servers：
DRPC服務器列表，以便DRPCSpout知道和誰通訊
•drpc.port：
Storm DRPC的服務端口
•supervisor.slots.ports：
supervisor上能夠運行workers的端口列表。每個worker占用一個端口，且每個端口只運行一個worker。
通過這項配置可以調整每台機器上運行的worker數。(調整slot數/每機)
•supervisor.childopts：
在storm-deploy項目中使用，用來配置supervisor守護進程的jvm選項
•supervisor.worker.timeout.secs：
supervisor中的worker心跳超時時間，一旦超時supervisor會嘗試重啟worker進程.
•supervisor.worker.start.timeout.secs：
supervisor初始啟動時，worker的心跳超時時間，當超過該時間supervisor會嘗試重啟worker。
因為JVM初始啟動和配置會帶來的額外消耗，從而使得第一次心跳會超過supervisor.worker.timeout.secs的設定
•supervisor.enable：
supervisor是否應當運行分配給他的workers。默認為true，該選項用來進行Storm的單元測試，一般不應修改.
•supervisor.heartbeat.frequency.secs：
supervisor心跳發送頻率(多久發送一次)
•supervisor.monitor.frequency.secs：
supervisor檢查worker心跳的頻率
•worker.childopts：
supervisor啟動worker時使用的jvm選項。所有的”%ID%”字串會被替換為對應worker的標識符
•worker.heartbeat.frequency.secs：
worker的心跳發送時間間隔
•task.heartbeat.frequency.secs：
task匯報狀態心跳時間間隔
•task.refresh.poll.secs：
task與其他tasks之間鏈接同步的頻率。(如果task被重分配，其他tasks向它發送消息需要刷新連接)
。一般來講，重分配發生時其他tasks會理解得到通知。該配置僅僅為了防止未通知的情況。
•topology.debug：
如果設置成true，Storm將記錄發射的每條信息。
•topology.optimize：
master是否在合適時機通過在單個線程內運行多個task以達到優化topologies的目的
•topology.workers：
執行該topology集群中應當啟動的進程數量。
每個進程內部將以線程方式執行一定數目的tasks。topology的組件結合該參數和並行度提示來優化性能
•topology.ackers：
topology中啟動的acker任務數。
Acker保存由spout發送的tuples的記錄，並探測tuple何時被完全處理。
當Acker探測到tuple被處理完畢時會向spout發送確認信息。通常應當根據topology的吞吐量來確定acker的數目，但一般不需要太多。
當設置為0時，相當於禁用了消息可靠性。storm會在spout發送tuples后立即進行確認
•topology.message.timeout.secs：
topology中spout發送消息的最大處理超時時間。
如果一條消息在該時間窗口內未被成功ack，Storm會告知spout這條消息失敗。而部分spout實現了失敗消息重播功能。
•topology.kryo.register：
注冊到Kryo(Storm底層的序列化框架)的序列化方案列表。序列化方案可以是一個類名，或者是com.esotericsoftware.kryo.Serializer的實現
•topology.skip.missing.kryo.registrations：
Storm是否應該跳過它不能識別的kryo序列化方案。如果設置為否task可能會裝載失敗或者在運行時拋出錯誤
•topology.max.task.parallelism：
在一個topology中能夠允許的最大組件並行度。該項配置主要用在本地模式中測試線程數限制.
•topology.max.spout.pending：
一個spout task中處於pending狀態的最大的tuples數量。該配置應用於單個task，而不是整個spouts或topology
•topology.state.synchronization.timeout.secs：
組件同步狀態源的最大超時時間(保留選項,暫未使用)
•topology.stats.sample.rate：
用來產生task統計信息的tuples抽樣百分比
•topology.fall.back.on.java.serialization：
topology中是否使用java的序列化方案
•zmq.threads：
每個worker進程內zeromq通訊用到的線程數
•zmq.linger.millis：
當連接關閉時，鏈接嘗試重新發送消息到目標主機的持續時長。這是一個不常用的高級選項，基本上可以忽略.
•java.library.path：
JVM啟動(如Nimbus,Supervisor和workers)時的java.library.path設置。該選項告訴JVM在哪些路徑下定位本地庫
StormUI畫面參數
main頁面主要包括3個部分
【Cluster Summary】
•Nimbus uptime: nimbus的啟動時間
•Supervisors: storm集群中supervisor的數目
•used slots: 使用了的slots數
•free slots: 剩余的slots數
•total slots: 總的slots數
•Running tasks: 運行的任務數
【topology summary】
•Name: topology name
•id: topology id (由storm生成)
•status: topology的狀態，包括(ACTIVE, INACTIVE, KILLED, REBALANCING)
•uptime: topology運行的時間
•num workers: 運行的workers數
•num tasks: 運行的task數
【supervisor summary】
•host: supervisor(主機)的主機名
•uptime: supervisor啟動的時間
•slots: supervisor的端口數
•used slots: 使用的端口數
--Topology page
topology頁面主要包括4個部分
【topology summary】
(同主頁)
【topology stats】
•window: 時間窗口，顯示10m、3h、1d和all time的運行狀況
•emitted: emitted tuple數
•transferred: transferred tuple數, 說下與emitted的區別：如果一個task，emitted一個tuple到2個task中，則transferred tuple數是emitted tuple數的兩倍
•complete latency: spout emitting 一個tuple到spout ack這個tuple的平均時間
•acked: ack tuple數
•failed: 失敗的tuple數
【spouts】
•id: spout id
•parallelism: 任務數
•last error: 最近的錯誤數，只顯示最近的前200個錯誤
•emitted、transferred、complete latency、acked和failed上面已解釋
【bolts】
•process latency: bolt收到一個tuple到bolt ack這個tuple的平均時間
其他參數都解釋過了
還有componentpage和taskpage，參數的解釋同上。
taskpage中的Component指的是spoutid或者boltid，time指的是錯誤發生的時間，error是指錯誤的具體內容。
Storm組件
1. Nimbus：
負責資源分配和任務調度。
2. Supervisor：
負責接受nimbus分配的任務，啟動和停止屬於自己管理的worker進程。
3. Worker：
運行具體處理組件邏輯的進程。
4. Task：
worker中每一個spout/bolt的線程稱為一個task. 在storm0.8之后，task不再與物理線程對應，同一個 spout/bolt的task可能會共享一個物理線程，該線程稱為xecutor。
5. Topology：
storm中運行的一個實時應用程序，因為各個組件間的消息流動形成邏輯上的一個拓撲結構。
6. Spout：
在一個topology中產生源數據流的組件。通常情況下spout會從外部數據源中讀取數據，然后轉換為topology內部的源數據。Spout是一個主動的角色，其接口中有個nextTuple()函數，storm框架會不停地調用 此函數，用戶只要在其中生成源數據即可。
7. Bolt：
在一個topology中接受數據然后執行處理的組件。Bolt可以執行過濾、函數操作、合並、寫數據庫等任何操作。Bolt是一個被動的角色，其接口中有個execute(Tuple input)函數,在接受到消息后會調用此函數，用戶可以在其中執行自己想要的操作。
8. Tuple：
Storm Spout、Bolt組件消息傳遞的基本單元（數據模型），Tuple是包含名稱的列表，Storm支持所有原生類型，字節數組為Tuple字段傳遞，如果要傳遞自定義對象，需要實現接口serializer。
Stream：源源不斷傳遞的tuple就組成了stream。
Storm常用命令
【提交Topologies】
命令格式：storm jar 【jar路徑】 【拓撲包名.拓撲類名】 【拓撲名稱】
樣例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop
#提交storm-starter.jar到遠程集群，並啟動wordcountTop拓撲。
【停止Topologies】
命令格式：storm kill 【拓撲名稱】
樣例：storm kill wordcountTop
#殺掉wordcountTop拓撲。
【啟動nimbus后台程序】
命令格式：storm nimbus
【啟動supervisor后台程序】
命令格式：storm supervisor
【停止supervisor后台程序】
storm 貌似沒有提供 關閉 supervisor 節點的指令：
#把supervisor 相關的進程都殺掉
kill -9 $(ps -ef|grep supervisor | awk '{print $2}')
或者 ：
kill -9 `ps -ef|grep supervisor | awk '{print $2}'`
【啟動drpc服務】
命令格式：storm drpc
【啟動ui服務】
命令格式：storm ui
【啟動REPL】
REPL — read-evaluate-print-loop。
雖然clojure可以作為一種腳本語言內嵌在java里面，但是它的首選編程方式是使用REPL，這是一個簡單的命令行接口，
使用它你可以輸入你的命令，執行，然后查看結果， 你可以以下面這個命令來啟動REPL：
命令格式：storm repl
【打印本地配置】
命令格式：storm localconfvalue [配置參數關鍵字]
舉例：storm localconfvalue storm.zookeeper.servers
#根據指定參數打印本地配置的值。
【打印遠程配置】
命令格式：storm remoteconfvalue [配置參數關鍵字]
舉例：storm remoteconfvalue storm.zookeeper.servers
#根據指定參數打印遠程配置的值。
【執行Shell腳本】
命令格式：storm shell resourcesdir command args
【打印CLASSPATH】
命令格式：storm classpath