簡介
Percona XtraDB Cluster是MySQL高可用性和可擴展性的解決方案,Percona XtraDB Cluster提供的特性如下:
1.同步復制,事務要么在所有節點提交或不提交。
2.多主復制,可以在任意節點進行寫操作。
3.在從服務器上並行應用事件,真正意義上的並行復制。
4.節點自動配置。
5.數據一致性,不再是異步復制。
Percona XtraDB Cluster完全兼容MySQL和Percona Server,表現在:
1.數據的兼容性
2.應用程序的兼容性:無需更改應用程序
1.集群是有節點組成的,推薦配置至少3個節點,但是也可以運行在2個節點上。
2.每個節點都是普通的mysql/percona服務器,可以將現有的數據庫服務器組成集群,反之,也可以將集群拆分成單獨的服務器。
3.每個節點都包含完整的數據副本。
優點如下:
1.當執行一個查詢時,在本地節點上執行。因為所有數據都在本地,無需遠程訪問。
2.無需集中管理。可以在任何時間點失去任何節點,但是集群將照常工作,不受影響。
3.良好的讀負載擴展,任意節點都可以查詢。
缺點如下:
1.加入新節點,開銷大。需要復制完整的數據。
2.不能有效的解決寫縮放問題,所有的寫操作都將發生在所有節點上。
3.有多少個節點就有多少重復的數據。
架構圖如下:
(圖片來源官網)
Percona XtraDB Cluster與MySQL Replication區別在於:
分布式系統的CAP理論。
C— 一致性,所有節點的數據一致。
A— 可用性,一個或多個節點失效,不影響服務請求。
P— 分區容忍性,節點間的連接失效,仍然可以處理請求。
任何一個分布式系統,需要滿足這三個中的兩個。
MySQL Replication: 可用性和分區容忍性
Percona XtraDB Cluster: 一致性和可用性
因此MySQL Replication並不保證數據的一致性,而Percona XtraDB Cluster提供數據一致性。
Percona XtraDB Cluster組件:
Percona XtraDB Cluster基於XtraDB的Percona Server以及包含寫復制集補丁。使用Galera 2.x library,事務型應用下的通用的多主同步復制插件。
Galera 2.x新特性有:
1.IST(Incremental State Transfer)增量狀態傳輸。對於WAN特別有用。
2.RSU(Rolling Schema Update)旋轉更新架構。不會阻止對表進行操作。
局限性
1.目前的復制僅僅支持InnoDB存儲引擎。任何寫入其他引擎的表,包括mysql.*表將不會復制。但是DDL語句會被復制的,因此創建用戶將會被復制,但是insert into mysql.user…將不會被復制的。
2.DELETE操作不支持沒有主鍵的表。沒有主鍵的表在不同的節點順序將不同,如果執行SELECT…LIMIT… 將出現不同的結果集。
3.在多主環境下LOCK/UNLOCK TABLES不支持。以及鎖函數GET_LOCK(), RELEASE_LOCK()…
4.查詢日志不能保存在表中。如果開啟查詢日志,只能保存到文件中。
5.允許最大的事務大小由wsrep_max_ws_rows和wsrep_max_ws_size定義。任何大型操作將被拒絕。如大型的LOAD DATA操作。
6.由於集群是樂觀的並發控制,事務commit可能在該階段中止。如果有兩個事務向在集群中不同的節點向同一行寫入並提交,失敗的節點將中止。對於集群級別的中止,集群返回死鎖錯誤代碼(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).
7.XA事務不支持,由於在提交上可能回滾。
8.整個集群的寫入吞吐量是由最弱的節點限制,如果有一個節點變得緩慢,那么整個集群將是緩慢的。為了穩定的高性能要求,所有的節點應使用統一的硬件。
9.集群節點建議最少3個。2個也可以運行,但是官方不推薦這么做,因為3個節點是為了預防腦裂。
10.如果DDL語句有問題將破壞集群。建議使用pt-online-schema-change操作DDL。
通過以上的簡單了解,相信大家已經有了初步認識,更加深入的內容,推薦童鞋們閱讀官方文檔。下面我們進行環境的搭建與測試。測試機器信息如下:
注意:Percona-XtraDB-Cluster在啟動以后會額外啟動端口來進行狀態檢測,所以請開放相應的端口,默認是4567端口。我測試環境關閉了iptables。
node1 192.168.0.100 node2 192.168.0.101 node3 192.168.0.102
1.安裝軟件依賴包(添加repl源,再安裝依賴,3台server操作一樣。)
[root@node1 ~]# rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
[root@node1 ~]# yum install perl-IO-Socket-SSL perl-DBD-MySQL perl-Time-HiRes socat nc -y
2.安裝xtrabackup(PXC同步數據需要用到,為什么使用xtrabackup?自己查詢官方文檔)
[root@node1 ~]# wget -q http://www.percona.com/downloads/XtraBackup/LATEST/binary/redhat/6/x86_64/percona-xtrabackup-2.2.3-4982.el6.x86_64.rpm [root@node1 ~]# rpm -ivh percona-xtrabackup-2.2.3-4982.el6.x86_64.rpm
3.下載安裝Percona-XtraDB-Cluster
[root@node1 ~]# wget http://www.percona.com/downloads/Percona-XtraDB-Cluster-56/LATEST/binary/tarball/Percona-XtraDB-Cluster-5.6.19-rel67.0-25.6.824.Linux.x86_64.tar.gz
[root@node1 ~]# tar xf Percona-XtraDB-Cluster-5.6.19-rel67.0-25.6.824.Linux.x86_64.tar.gz -C /usr/local/ [root@node1 ~]# cd /usr/local/ [root@node1 local]# ln -s Percona-XtraDB-Cluster-5.6.19-rel67.0-25.6.824.Linux.x86_64/ mysql [root@node1 local]# cd mysql [root@node1 mysql]# groupadd mysql [root@node1 mysql]# useradd -r -g mysql mysql [root@node1 mysql]# chown -R mysql . [root@node1 mysql]# chgrp -R mysql . [root@node1 mysql]# cp support-files/my-default.cnf /etc/my.cnf [root@node1 mysql]# mkdir -p /data/mysql [root@node1 mysql]# chown -R mysql.mysql /data/mysql/ [root@node1 mysql]# ./scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/data/mysql/
[root@node1 mysql]# chown -R root . [root@node1 mysql]# cp support-files/mysql.server /etc/init.d/mysql [root@node1 mysql]# chmod 755 /etc/init.d/mysql
修改my.cnf配置文件如下:
[root@node1 mysql]# grep dir /etc/my.cnf basedir = /usr/local/mysql datadir = /data/mysql [root@node1 mysql]#
並在[mysqld]段落添如下參數:
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so #庫文件 wsrep_cluster_address=gcomm://192.168.0.100,192.168.0.101,192.168.0.102 #節點中所有ip wsrep_node_address=192.168.0.100 #節點的ip wsrep_slave_threads=2 #開啟的復制線程數,cpu核數*2 binlog_format=ROW #binlog格式必須為row default_storage_engine=InnoDB #暫時不支持其他存儲引擎,只支持innodb,當然可以支持myisam,需要另外參數打開 innodb_autoinc_lock_mode=2 #自增鎖的優化 wsrep_cluster_name=pxc-yayun #集群名字 wsrep_sst_auth=sst:yayun #sst模式需要的用戶名和密碼 wsrep_sst_method=xtrabackup-v2 #采用什么方式復制數據。還支持mysqldump,rsync
啟動,進行授權操作,對於第一個節點必須以特殊方式啟動,如下:
[root@node1 mysql]# /etc/init.d/mysql --help Usage: mysql {start|stop|restart|restart-bootstrap|reload|force-reload|status|bootstrap-pxc} [ MySQL (Percona XtraDB Cluster) options ] [root@node1 mysql]# /etc/init.d/mysql bootstrap-pxc Bootstrapping PXC (Percona XtraDB Cluster)Starting MySQL (P[ OK ]traDB Cluster)......... [root@node1 mysql]#
進行查看,可以發現啟動兩個端口
[root@node1 ~]# netstat -nltp | grep mysqld tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 2964/mysqld tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 2964/mysqld [root@node1 ~]#
進行授權,推薦使用grant方式
mysql> GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON * . * TO 'sst'@'localhost' IDENTIFIED BY 'yayun'; Query OK, 0 rows affected (0.03 sec) mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.03 sec) mysql>
到這里我們的第一個節點就搞定了,剩下的兩個節點配置稍微不同,安裝方式都是一樣的,不再重復。
node2的配置如下:
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so wsrep_cluster_address=gcomm://192.168.0.100,192.168.0.101,192.168.0.102 wsrep_node_address=192.168.0.101 wsrep_slave_threads=2 binlog_format=ROW default_storage_engine=InnoDB innodb_autoinc_lock_mode=2 wsrep_cluster_name=pxc-yayun wsrep_sst_auth=sst:yayun wsrep_sst_method=xtrabackup-v2
node3的配置如下:
wsrep_provider=/usr/local/mysql/lib/libgalera_smm.so wsrep_cluster_address=gcomm://192.168.0.100,192.168.0.101,192.168.0.102 wsrep_node_address=192.168.0.102 wsrep_slave_threads=2 binlog_format=ROW default_storage_engine=InnoDB innodb_autoinc_lock_mode=2 wsrep_cluster_name=pxc-yayun wsrep_sst_auth=sst:yayun wsrep_sst_method=xtrabackup-v2
node2,node3節點都配置完成以后,我們啟動,對於第2,3個節點啟動和我們普通的MySQL啟動方式一樣。
node2啟動:
[root@node2 ~]# /etc/init.d/mysql start MySQL (Percona XtraDB Cluster) is not running, but lock fil[FAILED]lock/subsys/mysql) exists Starting MySQL (Percona XtraDB Cluster)...............State transfer in progress, setting sleep higher ............. [ OK ] [root@node2 ~]#
日志輸出如下:
[root@node2 mysql]# tail -n 20 node2.err 2014-07-25 10:44:29 33172 [Note] InnoDB: Percona XtraDB (http://www.percona.com) 5.6.19-67.0 started; log sequence number 1626646 2014-07-25 10:44:29 33172 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 997242b1-13a5-11e4-aa74-000c29fedc91. 2014-07-25 10:44:29 33172 [Note] RSA private key file not found: /data/mysql//private_key.pem. Some authentication plugins will not work. 2014-07-25 10:44:29 33172 [Note] RSA public key file not found: /data/mysql//public_key.pem. Some authentication plugins will not work. 2014-07-25 10:44:29 33172 [Note] Server hostname (bind-address): '*'; port: 3306 2014-07-25 10:44:29 33172 [Note] IPv6 is available. 2014-07-25 10:44:29 33172 [Note] - '::' resolves to '::'; 2014-07-25 10:44:29 33172 [Note] Server socket created on IP: '::'. 2014-07-25 10:44:29 33172 [Note] Event Scheduler: Loaded 0 events 2014-07-25 10:44:29 33172 [Note] WSREP: Signalling provider to continue. 2014-07-25 10:44:29 33172 [Note] WSREP: inited wsrep sidno 1 2014-07-25 10:44:29 33172 [Note] WSREP: SST received: 2dc360e7-135f-11e4-a4e9-126b1471680b:1 2014-07-25 10:44:29 33172 [Note] /usr/local/mysql/bin/mysqld: ready for connections. Version: '5.6.19-67.0-25.6' socket: '/tmp/mysql.sock' port: 3306 Percona XtraDB Cluster binary (GPL) 5.6.19-25.6, Revision 824, wsrep_25.6.r4111 2014-07-25 10:44:30 33172 [Note] WSREP: 1.0 (node2): State transfer from 0.0 (node1) complete. 2014-07-25 10:44:30 33172 [Note] WSREP: Shifting JOINER -> JOINED (TO: 1) 2014-07-25 10:44:30 33172 [Note] WSREP: Member 1.0 (node2) synced with group. 2014-07-25 10:44:30 33172 [Note] WSREP: Shifting JOINED -> SYNCED (TO: 1) 2014-07-25 10:44:30 33172 [Note] WSREP: Synchronized with group, ready for connections 2014-07-25 10:44:30 33172 [Note] WSREP: wsrep_notify_cmd is not defined, skipping notification. [root@node2 mysql]#
node3啟動:
[root@node3 ~]# /etc/init.d/mysql start MySQL (Percona XtraDB Cluster) is not running, but lock fil[FAILED]lock/subsys/mysql) exists Starting MySQL (Percona XtraDB Cluster)....................................State transfer in progress, setting sleep higher ..... [ OK ] [root@node3 ~]#
日志輸出如下:
[root@node3 mysql]# tail -n 20 node3.err 2014-07-25 10:49:26 38949 [Note] InnoDB: Percona XtraDB (http://www.percona.com) 5.6.19-67.0 started; log sequence number 1626646 2014-07-25 10:49:26 38949 [Warning] No existing UUID has been found, so we assume that this is the first time that this server has been started. Generating a new UUID: 4ad6df19-13a6-11e4-aae1-000c29d894d0. 2014-07-25 10:49:27 38949 [Note] RSA private key file not found: /data/mysql//private_key.pem. Some authentication plugins will not work. 2014-07-25 10:49:27 38949 [Note] RSA public key file not found: /data/mysql//public_key.pem. Some authentication plugins will not work. 2014-07-25 10:49:27 38949 [Note] Server hostname (bind-address): '*'; port: 3306 2014-07-25 10:49:27 38949 [Note] IPv6 is available. 2014-07-25 10:49:27 38949 [Note] - '::' resolves to '::'; 2014-07-25 10:49:27 38949 [Note] Server socket created on IP: '::'. 2014-07-25 10:49:27 38949 [Note] Event Scheduler: Loaded 0 events 2014-07-25 10:49:27 38949 [Note] WSREP: Signalling provider to continue. 2014-07-25 10:49:27 38949 [Note] WSREP: inited wsrep sidno 1 2014-07-25 10:49:27 38949 [Note] WSREP: SST received: 2dc360e7-135f-11e4-a4e9-126b1471680b:1 2014-07-25 10:49:27 38949 [Note] /usr/local/mysql/bin/mysqld: ready for connections. Version: '5.6.19-67.0-25.6' socket: '/tmp/mysql.sock' port: 3306 Percona XtraDB Cluster binary (GPL) 5.6.19-25.6, Revision 824, wsrep_25.6.r4111 2014-07-25 10:49:28 38949 [Note] WSREP: 0.0 (node3): State transfer from 1.0 (node1) complete. 2014-07-25 10:49:28 38949 [Note] WSREP: Shifting JOINER -> JOINED (TO: 1) 2014-07-25 10:49:28 38949 [Note] WSREP: Member 0.0 (node3) synced with group. 2014-07-25 10:49:28 38949 [Note] WSREP: Shifting JOINED -> SYNCED (TO: 1) 2014-07-25 10:49:28 38949 [Note] WSREP: Synchronized with group, ready for connections 2014-07-25 10:49:28 38949 [Note] WSREP: wsrep_notify_cmd is not defined, skipping notification. [root@node3 mysql]#
如果啟動失敗,日志里面也會有提示的,通常啟動失敗的原因有如下:
(1)配置文件錯誤
(2)防火牆沒有開放相應的端口,比如默認的4567端口
(3)忘記進行授權賬號
(4)xtrabackup沒有安裝或者安裝有問題
下面我們進行相關的測試,比如在node節點創建表,插入數據,看另外兩個節點是否有數據。
node1節點創建表t1,插入數據,在另外兩個節點也可以看見:
mysql> create database yayun; Query OK, 1 row affected (0.02 sec) mysql> use yayun Database changed mysql> create table t1 ( id int,name char(20)) engine=innodb; Query OK, 0 rows affected (0.03 sec) mysql> insert into t1 select 1,'yayun'; Query OK, 1 row affected (0.00 sec) Records: 1 Duplicates: 0 Warnings: 0 mysql> select * from t1; +------+-------+ | id | name | +------+-------+ | 1 | yayun | +------+-------+ 1 row in set (0.00 sec) mysql>
node2節點:
mysql> select * from yayun.t1; +------+-------+ | id | name | +------+-------+ | 1 | yayun | +------+-------+ 1 row in set (0.00 sec) mysql>
node3節點:
mysql> select * from yayun.t1; +------+-------+ | id | name | +------+-------+ | 1 | yayun | +------+-------+ 1 row in set (0.00 sec) mysql>
到這里搭建就基本結束了。3個節點同時支持write/read操作。更加詳細的介紹以及細節建議大家參考官方文檔。
總結:
Percona XtraDB Cluster現在已經有企業在使用了,我這里只是簡單的搭建以及測試,如果線上需要使用我們還需要進行相關壓力測試。比如使用sysbench,或者tpcc-mysql。
通常我們單獨使用Percona XtraDB Cluster也沒有任何問題的,如果使用通過結合harproxy,或者lvs+keepalived的方式來使用會更加的完美。前面說到的那些局限性通常我們很少能夠觸發到,所以使用Percona XtraDB Cluster來實現高可用是非常不錯的選擇。后續我會進行一個壓力測試對比。
參考資料:
http://www.percona.com/doc/percona-xtradb-cluster/5.6/intro.html
http://www.percona.com/doc/percona-xtradb-cluster/5.6/howtos/cenots_howto.html