簡介 隨着業務量的上升，以前的架構已經不滿足業務的發展，數據作為業務中最重要的一環，需要有更好的架構作為支撐。目前我司有sql server轉mysql的需求，所以結合當前業務，我挑選了阿里雲開源的一個很好用的同步工具DataX DataX介紹 DataX 是一個異構數據 ...

MongoDB 數據遷移和同步 MongoDB的數據同步 復制 mongodb的復制至少需要兩個實例。其中一個是主節點master，負責處理客戶端請求，其余的都是slave，負責從master上復制數據。 master寫處理：master負責接收寫請求 ...

對於緩存和數據庫雙寫，其存在着數據一致性的問題。對於數據一致性要求較高的業務場景，我們通常會選擇使用分布式事務(2pc、paxos等)來保證緩存與數據庫之間的數據強一致性，但分布式事務的復雜性與對資源的占用問題，使得該處理方式會造成系統性能的降低。對於數據一致性要求沒那么高的業務場景，選擇分布式 ...

1. 方案背景描述 環境遷移，需要遷移舊環境的fastdfs集群的數據到新環境,由於之前數據遷移僅僅是針對mysql和mongodb,對fastdfs數據的遷移了解甚少，本文檔主要是針對fastdfs數據遷移和恢復的幾種方式以及具體操作流程做詳細闡述。 2. 方案實現的目標 ...

場景 Redis實例A ---> Redis實例B,整庫全量遷移 方案一： mac環境 brew install npm npm install redis-dump -g 針對RedisA: redis-dump -h host1 -p 6379 -d 1 --json > ...

引言 為什么寫這篇文章？ 首先，緩存由於其高並發和高性能的特性，已經在項目中被廣泛使用。在讀取緩存方面，大家沒啥疑問，都是按照下圖的流程來進行業務操作。但是在更新緩存方面，對於更新完數據庫，是更新緩存呢，還是刪除緩存。又或者是先刪除緩存，再更新數據庫，其實大家存在很大的爭議。目前 ...

Redis 和數據庫讀操作 數據緩存往往會在 Redis 上設置超時時間，當設置 Redis 的數據超時后，Redis 就沒法讀出數據了，這個時候就會觸發程序讀取數據庫，然后將讀取的數據庫數據寫入 Redis（此時會給 Redis 重設超時時間），這樣程序在讀取的過程中就能按一定的時間間隔刷新 ...

1、最初級的緩存不一致問題以及解決方案問題：先修改數據庫，再刪除緩存，如果刪除緩存失敗了，那么會導致數據庫中是新數據，緩存中是舊數據，數據出現不一致。解決思路： 　　先刪除緩存，再修改數據庫，如果刪除緩存成功了修改數據庫失敗了，那么數據庫中是舊數據，緩存中是空的，那么數據不會不一致，因為讀 ...