ETL任務調度是ETL的靈魂!!!


簡而強乃工具之精髓


ETL是BI的基礎,而調度是ETL的靈魂,可見調度的重要性!

  • ETL任務-用於定義數據的抽取,轉換及裝載規則。
  • ETL任務調度-(簡稱ETL調度)用於控制ETL任務的啟動運行(啟動時間、運行周期及觸發條件),實現數據的傳輸轉換操作。 
  •  ETL調度按照功能復雜度分為 簡單定時調度 和 工作流調度 二種方式:

       (一)、定時調度用於控制ETL任務按照某一時間屬性周期運行,如:在每個工作日的19點啟動交易數據采集任務 或 每月1號啟動報表數據匯總任務。定時調度難以處理多個相關ETL任務間的依賴關系,也無法有效處理ETL異常。對於某些不具備定時調度功能的ETL軟件可以采用操作系統提供的定時功能,如Linux的cron調度、Windows的任務計划程序。 

      (二)、工作流調度采用模塊化方法對ETL過程各個環節進行協同管理,將ETL整個過程分解為多個數據處理子任務,子任務間采用順序、並行或互斥等時序關系進行調度控制,當ETL過程需要變更時,僅需重新配置相關子任務或子任務間時序關系,無需對整個過程進行調整,簡化了ETL過程管理,

        工作流調度包含以下基本功能:

  1. 支持順序、並發、互斥等工作模式 
  2. 支持周期性定時觸發任務 
  3. 支持任務異常處理 
  4. 支持任意程序調用執行
  5. 支持任務間傳遞信息 

北京靈蜂 ETL工具( Beeload & BeeDI )內置定時調度工作流調度功能,提供簡單直觀的圖形操作界面,滿足各種不同規模的數據集成場景,軟件除具備上述工作流調度基本功能外,依據ETL數據集成特點進行如下功能擴展:

  • 支持ETL任務的一站式圖形化配置管理
  • 內置HTTP、FTP文件傳輸功能
  • 內置SMTP郵件通知功能
  • 支持任意外部程序調用時的超時處理
  • 支持自定義腳本任務,無限擴展流程功能
  • 支持集群環境的子任務負載均衡、單點故障遷移 
  • 提供運行軌跡指示,實時反饋子任務運行狀態

ETL工具  Beeload   工作流調度

 

 

 

 

 

 


 

 

ETL工具  BeeDI  工作流調度

 

 

 


 

ETL工具 Beeload&BeeDI  定時調度

 


 

 ETL工具    Beeload&BeeDI  任務調度 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM