简介 随着业务量的上升，以前的架构已经不满足业务的发展，数据作为业务中最重要的一环，需要有更好的架构作为支撑。目前我司有sql server转mysql的需求，所以结合当前业务，我挑选了阿里云开源的一个很好用的同步工具DataX DataX介绍 DataX 是一个异构数据 ...

MongoDB 数据迁移和同步 MongoDB的数据同步 复制 mongodb的复制至少需要两个实例。其中一个是主节点master，负责处理客户端请求，其余的都是slave，负责从master上复制数据。 master写处理：master负责接收写请求 ...

对于缓存和数据库双写，其存在着数据一致性的问题。对于数据一致性要求较高的业务场景，我们通常会选择使用分布式事务(2pc、paxos等)来保证缓存与数据库之间的数据强一致性，但分布式事务的复杂性与对资源的占用问题，使得该处理方式会造成系统性能的降低。对于数据一致性要求没那么高的业务场景，选择分布式 ...

1. 方案背景描述 环境迁移，需要迁移旧环境的fastdfs集群的数据到新环境,由于之前数据迁移仅仅是针对mysql和mongodb,对fastdfs数据的迁移了解甚少，本文档主要是针对fastdfs数据迁移和恢复的几种方式以及具体操作流程做详细阐述。 2. 方案实现的目标 ...

场景 Redis实例A ---> Redis实例B,整库全量迁移 方案一： mac环境 brew install npm npm install redis-dump -g 针对RedisA: redis-dump -h host1 -p 6379 -d 1 --json > ...

引言 为什么写这篇文章？ 首先，缓存由于其高并发和高性能的特性，已经在项目中被广泛使用。在读取缓存方面，大家没啥疑问，都是按照下图的流程来进行业务操作。但是在更新缓存方面，对于更新完数据库，是更新缓存呢，还是删除缓存。又或者是先删除缓存，再更新数据库，其实大家存在很大的争议。目前 ...

Redis 和数据库读操作 数据缓存往往会在 Redis 上设置超时时间，当设置 Redis 的数据超时后，Redis 就没法读出数据了，这个时候就会触发程序读取数据库，然后将读取的数据库数据写入 Redis（此时会给 Redis 重设超时时间），这样程序在读取的过程中就能按一定的时间间隔刷新 ...

1、最初级的缓存不一致问题以及解决方案问题：先修改数据库，再删除缓存，如果删除缓存失败了，那么会导致数据库中是新数据，缓存中是旧数据，数据出现不一致。解决思路： 　　先删除缓存，再修改数据库，如果删除缓存成功了修改数据库失败了，那么数据库中是旧数据，缓存中是空的，那么数据不会不一致，因为读 ...