Bireme:一個 Greenplum數據倉庫的增量同步工具


https://hashdatainc.github.io/bireme/

 

Bireme 是一個 Greenplum / HashData 數據倉庫的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 數據源。

Greenplum 是一個高級,功能齊全的開源數據倉庫,為PB級數據量提供強大而快速的分析。它獨特地面向大數據分析,由世界上最先進的基於成本的查詢優化器提供支持,可在大數據量上提供高分析查詢性能。

HashData 則是基於 Greenplum 構建彈性的雲端數據倉庫。

Bireme 采用 DELETE + COPY 的方式,將數據源的修改記錄同步到 Greenplum / HashData ,相較於INSERT + UPDATE + DELETE的方式,COPY 方式速度更快,性能更優。

Bireme 特性與約束:

  • 采用小批量加載的方式提升數據同步的性能,默認加載延遲時間為10秒鍾。
  • 所有表在目標數據庫中必須有主鍵

 

 

這里也介紹了其他兩個工具:

Debezium

maxwell

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM