安裝依賴與注意事項：
1. rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm
1.yum install socat
2.yum install -y perl-DBI perl-DBD-MySQL perl-Time-HiRes perl-IO-Socket-SSL perl-Time-HiRes.x86_64 socat
3.安裝xtrabackup 下載地址：http://www.percona.com/downloads/XtraBackup/
4.注意iptables 4567是wsrep使用的默認端口
5.如果是對現有環境做galera集群，需要對mysql現有表做檢查，包括表，表引擎，是否無主鍵，是否有全文索引，是否有空間索引：
SELECT DISTINCT
CONCAT(t.table_schema,'.',t.table_name) AS tbl,
t.engine,
IF(ISNULL(c.constraint_name),'NOPK','') AS nopk,
IF(s.index_type = 'FULLTEXT','FULLTEXT','') AS ftidx,
IF(s.index_type = 'SPATIAL','SPATIAL','') AS gisidx
FROM information_schema.tables AS t
LEFT JOIN information_schema.key_column_usage AS c
ON (t.table_schema = c.constraint_schema AND t.table_name = c.table_name
AND c.constraint_name = 'PRIMARY')
LEFT JOIN information_schema.statistics AS s
ON (t.table_schema = s.table_schema AND t.table_name = s.table_name
AND s.index_type IN ('FULLTEXT','SPATIAL'))
WHERE t.table_schema NOT IN ('information_schema','performance_schema','mysql')
AND t.table_type = 'BASE TABLE'
AND (t.engine <> 'InnoDB' OR c.constraint_name IS NULL OR s.index_type IN ('FULLTEXT','SPATIAL'))
ORDER BY t.table_schema,t.table_name;
6.pxc 下載地址
https://www.percona.com/downloads/Percona-XtraDB-Cluster-56/Percona-XtraDB-Cluster-5.6.21-25.8/binary/tarball/Percona-XtraDB-Cluster-5.6.21-rel70.1-25.8.938.Linux.x86_64.tar.gz
安裝步驟：
1. 和普通mysql安裝步驟一樣安裝並初始化
2. 安裝innobackupex並且添加到環境變量
3. 添加sst賬號
DELETE FROM mysql.user WHERE user='';
GRANT RELOAD, LOCK TABLES, REPLICATION CLIENT ON *.* TO 'sstuser'@'localhost' IDENTIFIED BY 'sstuser';;
FLUSH PRIVILEGES;
4.修改my.cnf配置文件(添加如下參數)
###pxc
##Path to Galera library
#指定Galera庫文件，PXC自帶該庫文件，mariadb galera需要安裝galera
wsrep_provider = /usr/local/Percona-XtraDB-Cluster-5.6.24-rel72.2-25.11..Linux.x86_64/lib/libgalera_smm.so
# Cluster connection URL contains the IPs of node#1, node#2 and node#3
#指定集群每個節點的連接地址
wsrep_cluster_address = gcomm://10.1.1.121:4567,10. 1.1.122:4567,10. 1.1.123:4567
#本機ip
wsrep_provider_options = gmcast.listen_addr=tcp://10.1.1.121:4567;gcache.size=8G;gcs.fc_limit=512;gcs.fc_factor=0.9;
# This changes how InnoDB autoincrement locks are managed and is a requirement for Galera
innodb_autoinc_lock_mode = 2
# Node #1 address
#本機ip
wsrep_node_address = 10. 1.1.122
#指定SST方式，支持rsync(最快，需要鎖表)，mysqldump和xtrabackup，從5.5.33-23.7.6起支持xtrabackup-v2
# SST method
wsrep_sst_method = xtrabackup-v2
#wsrep_sst_method = rsync
# Cluster name
wsrep_cluster_name = my_centos_cluster
wsrep_slave_threads = 16
# Authentication for SST method
#SST的認證方式（賬號密碼）
wsrep_sst_auth = "sstuser:sstuser"
5.先啟動主節點
/usr/local/Percona-XtraDB-Cluster-5.6.24-rel72.2-25.11..Linux.x86_64/bin/mysqld_safe --defaults-file=/etc/my.cnf --wsrep-cluster-address="gcomm://" &
或者
service mysqld_3306 bootstrap-pxc
其他節點正常啟動
service mysqld_3306 start
或者
/etc/init.d/mysqld_3306 start --wsrep_sst_donor=指定主ip
6.查看pxc狀態
show status like 'wsrep%';
ps aux | grep mysql | grep wsrep_start_position
繞開SST通過IST方式添加節點需要創建的文件
在源mysql 用innobackupex 加 --galera-info 參數做完整備份
在目標mysql還原並且創建grastate.dat文件
sudo cat xtrabackup_galera_info
b0b66f5c-6254-11e3-b7c8-d2d41d32ec17: 433411
sudo vim grastate.dat
# GALERA saved state
version: 2.1
uuid: b0b66f5c-6254-11e3-b7c8-d2d41d32ec17
seqno: 433411
cert_index:
sudo chown mysql:mysql -R *
/etc/init.d/mysqld_3306 start --wsrep_sst_donor=源mysql
名詞：
WS：write set 寫數據集
IST: Incremental State Transfer 增量同步
SST：State Snapshot Transfer 全量同步
UUID：節點狀態改變及順序的唯一標識。
GTID:Global Transaction ID ，由UUID和偏移量組成。wsrep api 中定義的集群內全局事務id。
狀態機變化階段：
1.OPEN: 節點啟動成功，嘗試連接到集群，如果失敗則根據配置退出或創建新的集群
2.PRIMARY: 節點處於集群PC中，嘗試從集群中選取donor進行數據同步
3.JOINER: 節點處於等待接收/接收數據文件狀態，數據傳輸完成后在本地加載數據
4.JOINED: 節點完成數據同步工作，嘗試保持和集群進度一致
5.SYNCED：節點正常提供服務：數據的讀寫，集群數據的同步，新加入節點的sst請求
6.DONOR：節點處於為新節點准備或傳輸集群全量數據狀態，對客戶端不可用。
原生的Mysql也可使用galera
https://launchpad.net/codership-mysql/+download
局限性
1.目前的復制僅僅支持InnoDB存儲引擎。任何寫入其他引擎的表，包括mysql.*表將不會復制。但是DDL語句會被復制的，因此創建用戶將會被復制，但是insert into mysql.user…將不會被復制的。
2.DELETE操作不支持沒有主鍵的表。沒有主鍵的表在不同的節點順序將不同，如果執行SELECT…LIMIT… 將出現不同的結果集。
3.在多主環境下LOCK/UNLOCK TABLES不支持。以及鎖函數GET_LOCK(), RELEASE_LOCK()…
4.查詢日志不能保存在表中。如果開啟查詢日志，只能保存到文件中。
5.允許最大的事務大小由wsrep_max_ws_rows和wsrep_max_ws_size定義。任何大型操作將被拒絕。如大型的LOAD DATA操作。
6.由於集群是樂觀的並發控制，事務commit可能在該階段中止。如果有兩個事務向在集群中不同的節點向同一行寫入並提交，失敗的節點將中止。對於集群級別的中止，集群返回死鎖錯誤代碼(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)).
7.XA事務不支持，由於在提交上可能回滾。
8.整個集群的寫入吞吐量是由最弱的節點限制，如果有一個節點變得緩慢，那么整個集群將是緩慢的。為了穩定的高性能要求，所有的節點應使用統一的硬件。
9.集群節點建議最少3個。2個也可以運行，但是官方不推薦這么做，因為3個節點是為了預防腦裂。
10.如果DDL語句有問題將破壞集群。建議使用pt-online-schema-change操作DDL。
Galera監控
1、常用查詢指令
查看wsrep版本: mysql> SHOW GLOBAL STATUS LIKE 'wsrep_provider_version';
查看wsrep有關的所有變量: mysql> SHOW VARIABLES LIKE 'wsrep%' \G
查看Galera集群狀態: mysql> show status like 'wsrep%';
2、參數說明
1）集群完整性檢查:
wsrep_cluster_state_uuid:在集群所有節點的值應該是相同的,有不同值的節點,說明其沒有連接入集群.
wsrep_cluster_conf_id:正常情況下所有節點上該值是一樣的.如果值不同,說明該節點被臨時”分區”了.當節點之間網絡連接恢復的時候應該會恢復一樣的值.
wsrep_cluster_size:如果這個值跟預期的節點數一致,則所有的集群節點已經連接.
wsrep_cluster_status:集群組成的狀態.如果不為”Primary”,說明出現”分區”或是”split-brain”狀況.
2）節點狀態檢查:
wsrep_ready: 該值為ON,則說明可以接受SQL負載.如果為Off,則需要檢查wsrep_connected.
wsrep_connected: 如果該值為Off,且wsrep_ready的值也為Off,則說明該節點沒有連接到集群.(可能是wsrep_cluster_address或wsrep_cluster_name等配置錯造成的.具體錯誤需要查看錯誤日志)
wsrep_local_state_comment:如果wsrep_connected為On,但wsrep_ready為OFF,則可以從該項查看原因.
3）復制健康檢查:
wsrep_flow_control_paused:表示復制停止了多長時間.即表明集群因為Slave延遲而慢的程度.值為0~1,越靠近0越好,值為1表示復制完全停止.可優化wsrep_slave_threads的值來改善.
wsrep_cert_deps_distance:有多少事務可以並行應用處理.wsrep_slave_threads設置的值不應該高出該值太多.
wsrep_flow_control_sent:表示該節點已經停止復制了多少次.
wsrep_local_recv_queue_avg:表示slave事務隊列的平均長度.slave瓶頸的預兆.
最慢的節點的wsrep_flow_control_sent和wsrep_local_recv_queue_avg這兩個值最高.這兩個值較低的話,相對更好.
4）檢測慢網絡問題:
wsrep_local_send_queue_avg:網絡瓶頸的預兆.如果這個值比較高的話,可能存在網絡瓶頸
5）沖突或死鎖的數目:
wsrep_last_committed:最后提交的事務數目
wsrep_local_cert_failures和wsrep_local_bf_aborts:回滾,檢測到的沖突數目
--設置節點不參與流量控制
set global wsrep_desync=ON;
--需注意的參數修改gcs.fc_limit=1024 觸發流控大小設置
wsrep_provider_options = "evs.keepalive_period=PT1S; evs.inactive_check_period=PT0.5S; evs.suspect_timeout=PT5S; evs.inactive_timeout=PT15S; gcs.fc_factor=1.0; gcs.fc_limit=1024; gcs.fc_master_slave=yes; gcache.size=8G; "
--在線調整方法
SET GLOBAL wsrep_provider_options="gcs.fc_limit=512;gcs.fc_factor=1.0;evs.send_window=256;evs.user_send_window=128; ";
--如果腦裂導致所有節點不可用
SET GLOBAL wsrep_provider_options='pc.bootstrap=true';
當網絡狀況不好時考慮調整的參數設置：
1 wsrep_provider_options = "evs.keepalive_period = PT3S; evs.inactive_check_period = PT10S; evs.suspect_timeout = PT30S; evs.inactive_timeout = PT1M; evs.consensus_timeout = PT1M"
2 evs.keepalive_period 參數控制多久發送一次keepalive請求信號
3 evs.inactive_check_period 參數控制多久檢測一次節點活動/靜止狀態
4 evs.suspect_timeout 參數控制某個節點是否被標識為suspected狀態的時 間間隔
5 evs.inactive_timeout 參數控制節點不活動時檢測周期
6 evs.consensus_timeout 參數控制多久檢測一次節點一致性 通過上面的設 置，可以使節點超時時間為30秒
7 evs.inactive_timeout參數必須不小於evs.suspect_timeout， evs.consensus_timeout必須不小於evs.inactive_timeout