一、概念
1.什么是DataHub
DataHub是流式數據(Streaming Data)的處理平台,提供對流式數據的發布(Publish),訂閱(Subscribe)和分發功能
在訂閱-發布功能中,訂閱者訂閱自己感興趣的數據,發布者發布到中間channel,發布-訂閱彼此不知道對方的存在
可以輕松構建基於流式數據的分析和應用。
主要可以進行流處理應用以及流數據歸檔(歸檔到maxcomputer)
2.基本概念
Project:項目,一個項目包含多個topic,是DataHub數據組成的基本單位
Topic:主題,數據分發的基本單位,用來表示一類數據(類似表),相應的有Topic Lifecycle表示topic的生命周期
Shard:數據傳輸通道,每個shard都有自己的ID,並且會占用服務端資源,按需使用
Recode:數據傳輸的基本單位