https://hashdatainc.github.io/bireme/
Bireme 是一個 Greenplum / HashData 數據倉庫的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 數據源。
Greenplum 是一個高級,功能齊全的開源數據倉庫,為PB級數據量提供強大而快速的分析。它獨特地面向大數據分析,由世界上最先進的基於成本的查詢優化器提供支持,可在大數據量上提供高分析查詢性能。
HashData 則是基於 Greenplum 構建彈性的雲端數據倉庫。
Bireme 采用 DELETE + COPY 的方式,將數據源的修改記錄同步到 Greenplum / HashData ,相較於INSERT + UPDATE + DELETE的方式,COPY 方式速度更快,性能更優。
Bireme 特性與約束:
- 采用小批量加載的方式提升數據同步的性能,默認加載延遲時間為10秒鍾。
- 所有表在目標數據庫中必須有主鍵
這里也介紹了其他兩個工具:
Debezium
maxwell