簡而強乃工具之精髓
ETL是BI的基礎,而調度是ETL的靈魂,可見調度的重要性!
- ETL任務-用於定義數據的抽取,轉換及裝載規則。
- ETL任務調度-(簡稱ETL調度)用於控制ETL任務的啟動運行(啟動時間、運行周期及觸發條件),實現數據的傳輸轉換操作。
- ETL調度按照功能復雜度分為 簡單定時調度 和 工作流調度 二種方式:
(一)、定時調度用於控制ETL任務按照某一時間屬性周期運行,如:在每個工作日的19點啟動交易數據采集任務 或 每月1號啟動報表數據匯總任務。定時調度難以處理多個相關ETL任務間的依賴關系,也無法有效處理ETL異常。對於某些不具備定時調度功能的ETL軟件可以采用操作系統提供的定時功能,如Linux的cron調度、Windows的任務計划程序。
(二)、工作流調度采用模塊化方法對ETL過程各個環節進行協同管理,將ETL整個過程分解為多個數據處理子任務,子任務間采用順序、並行或互斥等時序關系進行調度控制,當ETL過程需要變更時,僅需重新配置相關子任務或子任務間時序關系,無需對整個過程進行調整,簡化了ETL過程管理,
工作流調度包含以下基本功能:
- 支持順序、並發、互斥等工作模式
- 支持周期性定時觸發任務
- 支持任務異常處理
- 支持任意程序調用執行
- 支持任務間傳遞信息
北京靈蜂 ETL工具( Beeload & BeeDI )內置定時調度與工作流調度功能,提供簡單直觀的圖形操作界面,滿足各種不同規模的數據集成場景,軟件除具備上述工作流調度基本功能外,依據ETL數據集成特點進行如下功能擴展:
- 支持ETL任務的一站式圖形化配置管理
- 內置HTTP、FTP文件傳輸功能
- 內置SMTP郵件通知功能
- 支持任意外部程序調用時的超時處理
- 支持自定義腳本任務,無限擴展流程功能
- 支持集群環境的子任務負載均衡、單點故障遷移
- 提供運行軌跡指示,實時反饋子任務運行狀態
ETL工具 Beeload 工作流調度
ETL工具 BeeDI 工作流調度
ETL工具 Beeload&BeeDI 定時調度
ETL工具 Beeload&BeeDI 任務調度