先貼上官網tdh(Transwarp Data Hub)星環大數據平台生態圖:
之前一直用的cdh,最近打算切換大數據平台,所以就拿cdh組件和tdh組件進行比較,下面只是目前用到的組件,個人理解對應關系如下:
| cdh | tdh | 備注 |
|---|---|---|
| navigator | audit | 用於審計 |
| hive | inceptor | 數倉 |
| hbase | hyperbase | 列式nosql數據庫 |
| kafka+flink+sparkstreaming | splitstream | 實時計算 |
| cloudera manager | manager | 集群管理 |
| hdfs | tdfs | 分布式文件系統 |
| kerberos+sentry+ldap | guardian | 用戶權限管理及安全認證 |
| cloudera manager | aquila | 監控告警 |
TDH特點：
-
極致的性能與可擴展性
TDH的批處理速度是開源Hadoop的10-100倍，是MPP的5-10倍，可以對從GB到PB級的數據量實現復雜的查詢和分析。TDH具有高可擴展性，用戶可以通過增加集群節點數量，線性提高系統的處理能力。 -
容器技術與大數據平台
TDH支持部署於TCOS之上。TCOS是為大數據應用量身訂做的雲操作系統，基於Docker和Kubernetes，支持一鍵部署TDH、擴容、縮容，同時支持基於優先級的搶占式資源調度和細粒度資源分配。 -
完整的SQL和ACID支持
Transwarp Inceptor是第一個實現完整SQL支持的Hadoop發行產品。它不僅支持SQL 2003，Oracle PL/SQL以及DB2 SQL PL，還實現了完整的ACID和CRUD功能。TDH提供JDBC和ODBC驅動連接，方便第三方工具運行於TDH之上。 -
低延遲的流處理 Transwarp Slipstream是同時支持事件驅動和微批處理的流處理引擎，計算延遲最低可至5ms。它提供標准的SQL編程接口，還支持高可用性（HA）和Exactly-Once的語義，從而支持7x24小時的生產業務。
-
豐富的機器學習和深度學習功能
Transwarp Discover支持用戶通過R語言和Python開發機器學習項目，也可以用圖形化的工具做分析。 -
大數據上的全文搜索
Transwarp Search支持通過SQL實現大數據上的秒級全文搜索，它利用層次化存儲、堆外內存管理等創新性技術，極大的提高了系統的可用性。此外，Search還可以結合Inceptor提供較強的數據分析能力。 -
圖形化的大數據開發工具套件
Transwarp Studio是TDH中的大數據開發工具集，包括元數據管理Governor、工作流Workflow、數據整合工具Transporter，Cube設計工具Rubik以及報表工具Pilot。用戶可以使用這些圖形化工具來提高大數據的開發效率，降低技術門檻。 -
多樣化的數據處理功能
Transwarp Hyperbase用於存儲和計算結構化或非結構化數據，包括日志記錄、JSON/XML文件以及二進制數據（如圖像和視頻）。Hyperbase底層是KV的數據庫，因此其非常適合高頻次的數據入庫、高並發精確檢索等業務。 -
簡易的操作和管理
Transwarp Manager是專門用於部署、管理和運維TDH集群的組件。它支持產品一鍵安裝、一鍵升級和圖形化運維，並提供了健康檢測功能，幫助用戶簡化運維過程。 -
統一的安全/多租戶管理
Transwarp Guardian是TDH平台中實現安全控制和資源管理的中央服務平台，它支持Kerberos和LDAP認證，可以做細粒度的權限控制，並且提供租戶管理功能。