大數據產品架構
BASE - Dataworks
ODPS - MaxCompute
ODPS 功能組成(Open Data Process Service)
ODPS 是舊稱,阿里雲公有雲服務中現稱為 MaxCompute
Tunnel - 高速上傳外部數據到 ODPS 內部,也可以高速下載 ODPS 內部數據到外部
ODPS 基本概念
項目空間(Project)
表(Table)
分區(Partition)
任務(Task)
①. — 任務(Task):單個 SQL Query 或者 MapReduce 程序統稱為一個任務 。
②. — 工作流(Workflow):有向無環圖(DAG),描述各個 Task 之間的依賴和約束 。
③. — 作業(Job):由一個或者多個 Task 以及表示其執行次序關系的工作流(Workflow)組成 。
④. — 作業實例(Instance):作業被提交到系統執行時,就產生了作業實例(動態概念) 。一個 Job(作業)多提交運行就會有多個 Instance(作業實例),Instance 保存了執行時的快照(Snapshot)和返回狀態 。
資源(Resource)
ODPS 基礎架構
ODPS 整體架構