redis分片機制(shards)
前提說明: redis可以通過修改內存的大小 實現數據的保存.但是內存的資源不易設置的過大,因為很多的時間都浪費在內存的尋址中.
需求: 如果有海量的數據,需要redis存儲 問:應該如何處理?
解決方案: 可以采用Redis分片機制 實現內存數據的擴容.
知識點: 采用redis分片 只要的目的就是為了實現內存擴容.從而解決海量數據存儲的問題
圖解
Redis分片搭建步驟
我們可以啟動多個redis服務, 來實現多個redis服務器, 因為redis是根據配置文件來啟動的, 我們只需要准備3個不同的配置文件, 修改為不同的端口進行測試,
實際環境可能是3台redis 服務器, 我們只需要找對應的ip和段鷗配置即可, 這里為了方便測試, 在同一台機器上運行3個不同端口的redis服務
1. 准備條件
創建目錄shards, 並復制3個redis配置文件到此目錄, 文件名分別為 6379.conf, 6380.conf, 6381.conf
並修改配置文件中的端口號port=3679,port=3680,,port=3681
為了方便測試, 可先關閉AOF模式, 只使用rdb模式
修改配置文件中生成rdb文件的名稱為 dbfilename=6379.rdb, dbfilename=6380.rdb, dbfilename=6381.rdb
啟動3個redis服務:
redis-server 6379.conf
redis-server 6380.conf
redis-server 6381.conf
查看進程是否啟動成功
ps -ef | grep redis
如果顯示3個redis不同端口的進程說明啟動成功, 可以進行下步操作了
2. springboot分片入門案例
首先確定已經導入了redis的相關maven依賴, 然后進行測試
分片機制使用的是 ShardedJedis 對象, 而不是 Jedis 對象, 其構造方法為傳入JedisShardInfo集合, 集合中的數據為每個redis的服務器IP和port
public class TestShards { //改類表示測試redis分片機制
/**
* 說明:在Linux中有3台redis.需要通過程序進行動態鏈接.
* 實現數據的存儲.
* 思考: 數據保存到了哪台redis中???
*/
@Test
public void test01(){
List<JedisShardInfo> shards = new ArrayList<>();
shards.add(new JedisShardInfo("192.168.126.129", 6379));
shards.add(new JedisShardInfo("192.168.126.129", 6380));
shards.add(new JedisShardInfo("192.168.126.129", 6381));
//分片的API
ShardedJedis shardedJedis = new ShardedJedis(shards);
shardedJedis.set("王者榮耀", "你好我是小菜雞,坑死你");
System.out.println(shardedJedis.get("王者榮耀"));
}
}
輸出結果為 你好我是小菜雞,坑死你
那么分片機制中的數據存到了哪個redis服務器? 是按什么算法進行存取的呢? 請接着往下看
一致性hash算法
說明
一致性哈希算法在1997年由麻省理工學院提出，是一種特殊的哈希算法，目的是解決分布式緩存的問題。 在移除或者添加一個服務器時，能夠盡可能小地改變已存在的服務請求與處理請求服務器之間的映射關系。一致性哈希解決了簡單哈希算法在分布式哈希表( Distributed Hash Table，DHT) 中存在的動態伸縮等問題 。
原理
常識:
- 一般的hash由8位16進制數組成的. 共有2^32種可能性!!!
- hash算法對相同的數據進行hash運算時 結果必然相同.
特性
-
平衡性
平衡性是指hash的結果應該平均分配到各個節點，這樣從算法上解決了負載均衡問題
說明:引入虛擬節點 實現數據的平衡 但是平衡是相對的.不是絕對的.
-
單調性
單調性是指在新增或者刪減節點時，不影響系統正常運行 。
-
分散性
散性是指數據應該分散地存放在分布式集群中的各個節點(節點自己可以有備份)，不必每個節點都存儲所有的數據 。
雞蛋不要放到一個籃子里.
springboot整合哨兵機制
1. 准備redis.properties文件
每個IP和端口用逗號分隔, IP和端口之間使用:冒號分隔, 方便我們進行解析
# 配置多台redis
redis.nodes=192.168.126.129:6379,192.168.126.129:6380,192.168.126.129:6381
2. 編輯配置類
@Configuration //標識我是配置類
@PropertySource("classpath:/properties/redis.properties")
public class RedisConfig {
@Value("${redis.nodes}")
private String nodes; //node,node,node
/**
* spring整合redis分片機制
*/
@Bean
public ShardedJedis shardedJedis(){
//1.獲取每個節點的信息
String[] strNodes = nodes.split(",");
List<JedisShardInfo> shards = new ArrayList<>();
//2.遍歷所有node.為list集合賦值
for(String node :strNodes){ //node=ip:port
String host = node.split(":")[0]; // ip
int port = Integer.parseInt(node.split(":")[1]); // port
JedisShardInfo info = new JedisShardInfo(host,port);
shards.add(info);
}
ShardedJedis shardedJedis = new ShardedJedis(shards);
return shardedJedis;
}
}
3. 分片機制AOP
關於AOP實現分片機制, 可參考 [AOP實現單台redis]
我們只需要將第三步中 private Jedis jedis; 改為 private ShardedJedis jedis 即可