阿里雲 MaxCompute(ODPS)


大數據產品架構

BASE - Dataworks

ODPS - MaxCompute

ODPS 功能組成(Open Data Process Service)

ODPS 是舊稱,阿里雲公有雲服務中現稱為 MaxCompute 

Tunnel - 高速上傳外部數據到 ODPS 內部,也可以高速下載 ODPS 內部數據到外部

ODPS 基本概念

項目空間(Project)

表(Table)

分區(Partition)

任務(Task)

①. — 任務(Task):單個 SQL Query 或者 MapReduce 程序統稱為一個任務 。

②. — 工作流(Workflow):有向無環圖(DAG),描述各個 Task 之間的依賴和約束 。

③. — 作業(Job):由一個或者多個 Task 以及表示其執行次序關系的工作流(Workflow)組成 。

④. — 作業實例(Instance):作業被提交到系統執行時,就產生了作業實例(動態概念) 。一個 Job(作業)多提交運行就會有多個 Instance(作業實例),Instance 保存了執行時的快照(Snapshot)和返回狀態 。

資源(Resource)

ODPS 基礎架構

ODPS 整體架構

ODPS 客戶端

ODPS 接入層

ODPS 邏輯層

ODPS 計算層


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM