啟動Storm各個后台進程


      啟動Storm的所有后台進程。和Zookeeper一樣,Storm也是快速失敗(fail-fast)的系統,這樣Storm才能在 任意時刻被停止,並且當進程重啟后被正確地恢復執行。這也是為什么Storm不在進程內保存狀態的原因,即使Nimbus或Supervisors被重 啟,運行中的Topologies不會受到影響。

以下是啟動Storm各個后台進程的方式:

Nimbus: 在Storm主控節點上運行”bin/storm nimbus >/dev/null 2>&1 &”啟動Nimbus后台程序,並放到后台執行;

Supervisor: 在Storm各個工作節點上運行”bin/storm supervisor >/dev/null 2>&1 &”啟動Supervisor后台程序,並放到后台執行;

UI: 在Storm主控節點上運行”bin/storm ui >/dev/null 2>&1 &”啟動UI后台程序,並放到后台執行,啟動后可以通過http://{nimbus host}:8080觀察集群的worker資源使用情況、Topologies的運行狀態等信息。

注意事項:

啟動Storm后台進程時,需要對conf/storm.yaml配置文件中設置的storm.local.dir目錄具有寫權限。

Storm后台進程被啟動后,將在Storm安裝部署目錄下的logs/子目錄下生成各個進程的日志文件。

經測試,Storm UI必須和Storm Nimbus部署在同一台機器上,否則UI無法正常工作,因為UI進程會檢查本機是否存在Nimbus鏈接。

為了方便使用,可以將bin/storm加入到系統環境變量中。

至此,Storm集群已經部署、配置完畢,可以向集群提交拓撲運行了。

向集群提交任務

1. 啟動Storm Topology:

  1. storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3 

其中,allmycode.jar是包含Topology實現代碼的jar包,org.me.MyTopology的main方法是Topology的入口,arg1、arg2和arg3為org.me.MyTopology執行時需要傳入的參數。

2. 停止Storm Topology:

  1. storm kill {toponame} 

其中,{toponame}為Topology提交到Storm集群時指定的Topology任務名稱。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM