今天早上一上午,對滴,沒錯,從九點開始配,配到了12點多,才把集群搭配起來。
唉,畢竟渣渣的第一次配置集群,犯了好多錯誤。
從百度 -> 官方文檔 -> Google 無不盡其用。但我發覺百度的好多文章都是你抄我的,我抄你的,最終並不能解決問題,還是要靠自己多踩坑,踩多了,你下次就會繞路了,不過花費時間感覺有點長。
記錄下來,當作自己的學習,也為后人百度或者查找資料做一點貢獻。
(1)redis集群配置文件
1 daemonize yes 2 port 7000 3 cluster-enabled yes 4 cluster-config-file nodes-7000.conf 5 bind 127.0.0.1 6 cluster-node-timeout 5000 7 appendonly yes
這配置文件及其的重要,我就因為這個花了很長很長的時間找錯。
首先第一條 daemonize yes 后台運行,我以為是默認為yes,並且我開啟后,ps -ef | grep redis 也可以看到服務開啟,但就是連接不上。而且你百度的所有教程,包括我看的張益軍老師的《Redis開發與運維》也沒有這一條。
第二條端口;
第三條將集群打開;
第四條為集群的配置文件,自動生成,可以不用理會
第五條當時找錯的時候以為這里出錯了,但不清楚要不要配置,有待考究
第六條第七條 可配可不配
ps. 假如你在配置文件里面配置了密碼,注意。請修改 這個文件的密碼,默認為空。否則也會連不上集群
/usr/local/share/gems/gems/redis-3.3.0/lib/redis/client.rb
(2)開啟集群
1:首先建立六個配置文件(三主三從),每個配置文件除了端口,日志不同,其他幾乎相同
2:開啟redis服務,開啟六個。說實話挺麻煩的。
3:這里用redis官方提供的 redis-trib.rb 來進行設置。這里需要安裝ruby以及gem等一些,可能會遇到一些問題,比如國內訪問不了,如何換成國內的taobao源等,大家可以百度,這個還是可以解決的。
4:運行下面這個命令,如果按照上述步驟來,我保證沒有問題。如果最后出現error,連接失敗,那么就出現了問題。
1 redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
5:最終效果大概如下圖(6個節點,3主3從經典模式)。主節點也相互的有聯系。
(3)redis集群原理
Redis Cluster 沒有並使用傳統的一致性哈希來分配數據,而是采用另外一種叫做哈希槽 (hash slot)
的方式來分配的。類似與Java集合HashMap的桶,這樣好理解了把。每一個節點負責一部分槽,比如節點1負責0-3276號槽,節點2負責3277-6553個槽等等。redis一共有16384個槽,每個槽必須都有分配,集群才能建立。
ps. 為何為16384個槽呢?因為類似於HashMap的hash。
hash & (n - 1) 和 hash % n 效果類似,但是 & 在計算機中運算更加的迅速。
n必須為2的倍數,所以合適大小又要是2的倍數,那么16384是一個比較好的選擇吧
例子:我們這里來簡單的使用一下集群,來做一個更好的理解。
看以下圖片
1:首先我在端口為7000的節點 set了一個key值,命令為:set k1 v1。然后redis根據hash計算出該槽為12706,而12706的槽,端口7002節點所管理的,那么就跳轉到7002節點。
2:然后可以進行測試以下。你會發覺,k1這個值在節點7000,節點7001都不存在,只在節點7002存在。並且7002的子節點(slave), 節點為7005也有這個k1的值
3:同樣可以試試其他值。首先計算key的hash,然后放到對應的slot中,被所管理slot的節點所維護。
ps。在主從復制中,子節點是不能set值的,那么在集群中,作為子節點的7003,7004,7005可以set值么?
答案是ok的。自己可以試試,我這里就不貼圖片了
(4)key的hash槽計算
我在7000這個主節點,我用一下命令:set k v 他如何計算出相應的槽節點呢?能保證hash足夠分散么?
以下是用來把鍵映射到哈希槽的算法(下一段哈希標簽例外就是按照這個規則):
HASH_SLOT = CRC16(key) mod 16384
其中,CRC16的定義如下:
- 名稱:XMODEM(也可以稱為 ZMODEM 或 CRC-16/ACORN)
- 輸出長度:16 bit
- 多項數(poly):1021(即是 x16 + x12 + x5 + 1 )
- 初始化:0000
- 反射輸入字節(Reflect Input byte):False
- 反射輸入CRC(Reflect Output CRC):False
- 用於輸出CRC的異或常量(Xor constant to output CRC):0000
- 該算法對於輸入”123456789”的輸出:31C3
CRC16的16位輸出中的14位會被使用(這也是為什么上面的式子中有一個對 16384 取余的操作)。 在我們的測試中,CRC16能相當好地把不同的鍵均勻地分配到 16384 個槽中。
1 static const uint16_t crc16tab[256]= { 2 0x0000,0x1021,0x2042,0x3063,0x4084,0x50a5,0x60c6,0x70e7, 3 0x8108,0x9129,0xa14a,0xb16b,0xc18c,0xd1ad,0xe1ce,0xf1ef, 4 0x1231,0x0210,0x3273,0x2252,0x52b5,0x4294,0x72f7,0x62d6, 5 0x9339,0x8318,0xb37b,0xa35a,0xd3bd,0xc39c,0xf3ff,0xe3de, 6 0x2462,0x3443,0x0420,0x1401,0x64e6,0x74c7,0x44a4,0x5485, 7 0xa56a,0xb54b,0x8528,0x9509,0xe5ee,0xf5cf,0xc5ac,0xd58d, 8 0x3653,0x2672,0x1611,0x0630,0x76d7,0x66f6,0x5695,0x46b4, 9 0xb75b,0xa77a,0x9719,0x8738,0xf7df,0xe7fe,0xd79d,0xc7bc, 10 0x48c4,0x58e5,0x6886,0x78a7,0x0840,0x1861,0x2802,0x3823, 11 0xc9cc,0xd9ed,0xe98e,0xf9af,0x8948,0x9969,0xa90a,0xb92b, 12 0x5af5,0x4ad4,0x7ab7,0x6a96,0x1a71,0x0a50,0x3a33,0x2a12, 13 0xdbfd,0xcbdc,0xfbbf,0xeb9e,0x9b79,0x8b58,0xbb3b,0xab1a, 14 0x6ca6,0x7c87,0x4ce4,0x5cc5,0x2c22,0x3c03,0x0c60,0x1c41, 15 0xedae,0xfd8f,0xcdec,0xddcd,0xad2a,0xbd0b,0x8d68,0x9d49, 16 0x7e97,0x6eb6,0x5ed5,0x4ef4,0x3e13,0x2e32,0x1e51,0x0e70, 17 0xff9f,0xefbe,0xdfdd,0xcffc,0xbf1b,0xaf3a,0x9f59,0x8f78, 18 0x9188,0x81a9,0xb1ca,0xa1eb,0xd10c,0xc12d,0xf14e,0xe16f, 19 0x1080,0x00a1,0x30c2,0x20e3,0x5004,0x4025,0x7046,0x6067, 20 0x83b9,0x9398,0xa3fb,0xb3da,0xc33d,0xd31c,0xe37f,0xf35e, 21 0x02b1,0x1290,0x22f3,0x32d2,0x4235,0x5214,0x6277,0x7256, 22 0xb5ea,0xa5cb,0x95a8,0x8589,0xf56e,0xe54f,0xd52c,0xc50d, 23 0x34e2,0x24c3,0x14a0,0x0481,0x7466,0x6447,0x5424,0x4405, 24 0xa7db,0xb7fa,0x8799,0x97b8,0xe75f,0xf77e,0xc71d,0xd73c, 25 0x26d3,0x36f2,0x0691,0x16b0,0x6657,0x7676,0x4615,0x5634, 26 0xd94c,0xc96d,0xf90e,0xe92f,0x99c8,0x89e9,0xb98a,0xa9ab, 27 0x5844,0x4865,0x7806,0x6827,0x18c0,0x08e1,0x3882,0x28a3, 28 0xcb7d,0xdb5c,0xeb3f,0xfb1e,0x8bf9,0x9bd8,0xabbb,0xbb9a, 29 0x4a75,0x5a54,0x6a37,0x7a16,0x0af1,0x1ad0,0x2ab3,0x3a92, 30 0xfd2e,0xed0f,0xdd6c,0xcd4d,0xbdaa,0xad8b,0x9de8,0x8dc9, 31 0x7c26,0x6c07,0x5c64,0x4c45,0x3ca2,0x2c83,0x1ce0,0x0cc1, 32 0xef1f,0xff3e,0xcf5d,0xdf7c,0xaf9b,0xbfba,0x8fd9,0x9ff8, 33 0x6e17,0x7e36,0x4e55,0x5e74,0x2e93,0x3eb2,0x0ed1,0x1ef0 34 }; 35 36 uint16_t crc16(const char *buf, int len) { 37 int counter; 38 uint16_t crc = 0; 39 for (counter = 0; counter < len; counter++) 40 crc = (crc<<8) ^ crc16tab[((crc>>8) ^ *buf++)&0x00FF]; 41 return crc; 42 }
實驗結果:set k v ,k計算出來為7629,利用上述代碼計算出來也是7629.可得知,上述代碼沒有問題。
通常根據CRC校驗碼的位數(也等於生成多項式【G(x)】最高的冪次)的不同來區分不同的CRC算法,如CRC-1、CRC-8、CRC-16等。冪次相同的情況下,不同的標准也有不同的CRC算法。比如G(x)最高次冪為16的時候有:CRC-16-CCITT、CRC-16-IBM等。Redis使用的是CRC-16-CCITT標准,即G(x)為:x16 + x12 + x5 + 1 。
G(x)的通常表征方式是將多項式轉換成二進制: 1 0001 0000 0010 0001。用十六進制表示為:0x11021。該數存儲空間是17位(2個字節+1個位,C語言實際存儲是3個字節),實際上,在模二除的時候,被除數的最高位 1 和除數最高位 1 總是對齊的,其異或結果,總為0,故可省略,則G(x) = 0x1021(2個字節),節省了一個字節的空間。
引用自 https://blog.csdn.net/guodongxiaren/article/details/44706613 。這里面講解CRC16是非常的到位,奈何我是個數學渣,看的並不是很懂。而且我很奇怪字符怎么異或呢?轉化成ASCll好像也不太對。
至此,集群算是搭建完畢了,並且相關知識也大概有個了解了。下面就可以慢慢深挖了。