DataIDE產品概述
大數據開發套件(Data IDE)是阿里雲數加重要的Paas平台產品,基於MaxCompute作為核心的計算、存儲引擎,提供了海量數據的離線加工分析、數據挖掘的能力。提供全面托管的工作流服務,一站式開發管理的界面,幫助企業專注於數據價值的挖掘和探索。
1.數據開發流程
2.DataIDE應用場景
■將業務系統產生的數據輕松上雲，構建大型數據倉庫和BI應用,利用MaxCompute強大的海量存儲與數據處理能力
■基於大數據開發套件快速使用和分析數據,將大數據加工結果導出后直接應用於業務系統，實現數據化運營
■針對作業調度與運維的復雜性,大數據開發套件提供統一友好的調度 系統和可視化調度運維界面，解決運維管理不便等問題
3.基本概念
任務( Task ) :
對數據執行的操作，通常每個任務使用0或0個以上的數據表(數據集)作為輸入,生成一個或多個數據表(數據集)作為輸出。DataIDE 中任務主要分為三種:節點任務、工作流任務以及內部節點。
實例( Instance) :
代表了某個任務在某時某刻執行的一個快照,包含任務的運行時間、運行狀態、運行日志等信息。在調度系統中的任務經過調度系統、手動觸發運行后會生成一個實例。 在DataIDE的調度系統自動調度的任務,會提前生成對應的實例。
提交(Submit) :
提交指開發的節點任務、工作流任務從開發IDE環境發布到調度系統的過程。完成提交以后,相應的代碼、調度配置全部合並到調度系統中,調度系統按照相關配置進行調度操作。未提交的節點任務、工作流任務不會進入到調度系統。
4.DataIDE項目中的角色
