數據倉庫實時數據同步方案


將postgresql中的數據實時同步到kafka中

https://www.cnblogs.com/cq-yangzhou/p/11549913.html

 

黃海的思路:

(1)看看其它人的概念:https://blog.csdn.net/dora_310/article/details/80511793

 

有的地區方案中也寫了3秒之類的概念,就是說,這種數據同步,其實並沒有我想像的那個實時,還是有一定的延遲的,再比如,我一次性插入了10W條數據,就算了一次性實時傳遞給客戶端系統,它能不能一下子寫進去還是一個重要問題,實時不管怎么說都是需要一定時長的,在給出的時候可以有3秒的時延,這對於我們來說足夠了,因為我們的系統只需要把最新時間戳變更的數據提供即可。考慮到OLTP和OLAP的區別,這個數據同步的提供者是誰呢?

初步考慮用的是GreenPlum來提供,使用 Golang+GreenPlum

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM