Redis全方位講解--主從復制

前言

　　前面介紹了redis持久化和容災備份，這篇會介紹redis主從復制和redis持久化在主從復制中的一些應用。因為本人沒有那么多服務器或機器，所以這里主要介紹下如何在docker容器中搭建主從復制以及搭建過程中遇到的一些問題。關於redis的深入講解，這邊博客《深入學習Redis(3)：主從復制》介紹的非常詳細，有興趣的可以學習一下。

 

主從復制運行的機制

• 當一個 master 實例和一個 slave 實例連接正常時， master 會發送一連串的命令流來保持對 slave 的更新，以便於將自身數據集的改變復制給 slave ：包括客戶端的寫入、key 的過期或被逐出等等。
• 當 master 和 slave 之間的連接斷開之后，因為網絡問題、或者是主從意識到連接超時， slave 重新連接上 master 並會嘗試進行部分重同步：這意味着它會嘗試只獲取在斷開連接期間內丟失的命令流。
• 當無法進行部分重同步時， slave 會請求進行全量重同步。這會涉及到一個更復雜的過程，例如 master 需要創建所有數據的快照，將之發送給 slave ，之后在數據集更改時持續發送命令流到 slave 。

關於全量重同步和部分重同步，在文章開頭介紹的那篇博客中都有詳細的介紹。在搭建之前，讓我們先了解關於redis的幾個重要的事實。

• Redis 使用異步復制，slave 和 master 之間異步地確認處理的數據量。也正是因為異步復制，所以有可能會造成數據延遲或不同步。
• 一個 master 可以擁有多個 slave，slave也可以有sub-slave，但從 Redis 4.0 起，所有的 sub-slave 將會從 master 收到完全一樣的復制流。
• Redis 復制在 master 側是非阻塞的。這意味着 master 在一個或多個 slave 進行初次同步或者是部分重同步時，可以繼續處理查詢請求。
• 復制在 slave 側大部分也是非阻塞的。當 slave 進行初次同步時，它可以使用舊數據集處理查詢請求，假設你在 redis.conf 中配置了讓 Redis 這樣做的話。否則，你可以配置如果復制流斷開， Redis slave 會返回一個 error 給客戶端。但是，在初次同步之后，舊數據集必須被刪除，同時加載新的數據集。 slave 在這個短暫的時間窗口內（如果數據集很大，會持續較長時間），會阻塞到來的連接請求。自 Redis 4.0 開始，可以配置 Redis 使刪除舊數據集的操作在另一個不同的線程中進行，但是，加載新數據集的操作依然需要在主線程中進行並且會阻塞 slave 。
• 復制既可以被用在可伸縮性，以便只讀查詢可以有多個 slave 進行（例如 O(N) 復雜度的慢操作可以被下放到 slave ），或者僅用於數據安全。
• 可以使用復制來避免 master 將全部數據集寫入磁盤造成的開銷：一種典型的技術是配置你的 master Redis.conf 以避免對磁盤進行持久化，然后連接一個 slave ，其配置為不定期保存或是啟用 AOF。但是，這個設置必須小心處理，因為重新啟動的 master 程序將從一個空數據集開始：如果一個 slave 試圖與它同步，那么這個 slave 也會被清空。

關於最后一點，一般主從復制一般會采用讀寫分離，master都用來接受所有的寫操作，這樣為了減少master的壓力，就不會開啟數據持久化，而是在slave中開啟數據持久化。

 

redis主從復制在docker中搭建

redis.conf文件配置

　　這里需要注意的一點是，最好所有的主從redis要么沒有設置密碼，要么設置的密碼都一樣。

• master:https://github.com/Johnson19900110/johnsondock/blob/master/redis/config/redis-master.conf 這里需要注意的是，如果你的redis設有密碼，那么 masterauth yourpassword 這個配置一定要配置，因為在哨兵模式下，如果master出現宕機，當它重啟后就變成slave了。
• slave1:https://github.com/Johnson19900110/johnsondock/blob/master/redis/config/redis-slave1.conf
• slave2:https://github.com/Johnson19900110/johnsondock/blob/master/redis/config/redis-slave2.conf

　　兩個slave需要配置的是

################################# REPLICATION #################################

# Master-Slave replication. Use slaveof to make a Redis instance a copy of
# another Redis server. A few things to understand ASAP about Redis replication.
#
# 1) Redis replication is asynchronous, but you can configure a master to
#    stop accepting writes if it appears to be not connected with at least
#    a given number of slaves.
# 2) Redis slaves are able to perform a partial resynchronization with the
#    master if the replication link is lost for a relatively small amount of
#    time. You may want to configure the replication backlog size (see the next
#    sections of this file) with a sensible value depending on your needs.
# 3) Replication is automatic and does not need user intervention. After a
#    network partition slaves automatically try to reconnect to masters
#    and resynchronize with them.
#
slaveof redis 6379 　　# redis是master的容器名

# If the master is password protected (using the "requirepass" configuration
# directive below) it is possible to tell the slave to authenticate before
# starting the replication synchronization process, otherwise the master will
# refuse the slave request.
#
masterauth 123455

slave-read-only yes　　# slave只讀

三個配置文件配置好后，就可以配置docker-composer.yml文件了

version: "3.7"

networks:
  backend:
    driver: bridge

services:

### Redis ################################################
  # master
  redis:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/master:/data
      - ./redis/config/redis-master.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6379:6379
    networks:
      - backend

  # slave 1
  redis-slave1:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/slave1:/data
      - ./redis/config/redis-slave1.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6380:6379
    networks:
      - backend
    depends_on:
      - redis

  # slave 2
  redis-slave2:
    image: johnson19900110/redis:latest
    restart: always
    volumes:
      - ${DATA_PATH_HOST}/redis/slave2:/data
      - ./redis/config/redis-slave2.conf:/usr/local/etc/redis/redis.conf
    ports:
      - 6381:6379
    networks:
      - backend
    depends_on:
      - redis
      - redis-slave1

然后就可以啟動redis容器了

docker-composer up -d redis-slave2

　　這時候3個redis就已經啟動起來了

這是我們進入master容器。在redis-cli命令下執行 info replication ,就可以看到如下信息。 

從上面信息可以看到，這個是master角色，有兩個從slave，並且可以看到slave的狀態和同步的offset。然后再進入slave容器，可以看到。 

可以看到它的角色是slave和一些master的信息。因為我們設置了slave是只讀模式。所以當我們想在slave下進行寫入操作時會報錯。

 

所以只能去master里進行寫操作。

這時我們可以去slave看下slave是否復制成功。

這就表明我們這次redis的主從復制在docker中搭建成功了。

notice:這里還要重申一遍的是，1、如果你的redis設置了密碼，那么所有的都設置成一樣。2、如果你的rendis設置了密碼，那么master配置文件中的masterauth 這一項一定要配置。不然在后面搭建redis哨兵模式的時候，肯定會有一些你意想不到我的問題。