分布式批處理平台(wolf)簡介


  “wolf”即狼,狼的適應性很強。可棲息范圍包括苔原、草原、森林、荒漠、農田等多種生境;具有敏銳的觀察力、專一的目標、默契的配合,它們總能依靠團體的力量達成目標。

      分布式批處理平台采用作業調度與作業執行分離的架構來簡化業務系統批處理的開發和運維;采用中間件和平台化的思路提升其應用的范圍及價值;用於java系統作業的調度、執行與管控。本平台正是以狼性為理念而設計的——多服務節點協同並行處理能力及運行環境的適用能力。

  分布式批處理平台采用作業調度與作業執行分離的架構來簡化業務系統批處理的開發和運維,采用中間件和平台化的思路提升其應用的范圍及價值;用於java系統作業的調度、執行與管控;解決大數據批處理的序列問題。主要由下面幾個部分組成:

1、中間件基礎組件、分布式批處理框架:此為作業執行環境,進行作業的具體業務處理,作業命令(如啟動、停止、中斷等)執行、失效處理等。

2、作業調度管控中心:提供界面化的作業管理、監控及作業的調度(手動、自動)。

3、協調注冊中心:負責作業運行時的任務協調、作業元數據的存儲服務,此為獨立運行的中間件產品(sokeeper)。 

4、隊列:分布式的消息隊列,提供作業運行是的實時數據傳輸,如作業業務事件、日志等(此為可選部分,一期不提供)。

詳情請參考《分布式批處理平台技術白皮書》:http://www.bingjava.org/1/wolf/20170107/178.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM