一、概念
galera集群多用於關鍵性業務，因為galera集群為了數據的一致性，采用的是同步的機制，這就使galera犧牲了一部分性能來換取數據一致性。
galera集群是基於wsrep協議（端口4567）工作的，目前只支持INnoDB存儲引擎。
功能：
（1）同步復制
（2）Multi-master，及所有節點都可以同時進行讀寫操作
（3）自動的成員節點控制，失效節點自動被剔除
（4）新節點加入數據自動復制
（5）真正的並行復制，行級
優點：
（1）因為是多主，不存在slave lag(延遲)
（2）不存在丟失交易的情況
（3）同時具有讀寫的能力
（4）更小的客戶端延遲
（5）節點間的數據是同步的（使用rsync進行同步）
在搭建galera集群時盡量用奇數台主機，防止出現腦裂現象
二、搭建步驟
1、准備
集群數量：3個節點（都已下載mariadb）
192.168.11.6（主節點）（galera發起人）
192.168.11.7
192.168.11.8
--檢查環境
[root@ren6 ~]# setenforce 0 setenforce: SELinux is disabled [root@ren6 ~]# getenforce Disabled [root@ren6 ~]# systemctl status firewalld ● firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; enabled; vendor preset: enabled) Active: active (running) since 一 2019-09-09 14:07:52 CST; 1h 56min ago Docs: man:firewalld(1) Main PID: 6548 (firewalld) CGroup: /system.slice/firewalld.service └─6548 /usr/bin/python -Es /usr/sbin/firewalld --nofork --nopi... 9月 09 14:07:48 localhost.localdomain systemd[1]: Starting firewalld - d... 9月 09 14:07:52 localhost.localdomain systemd[1]: Started firewalld - dy... Hint: Some lines were ellipsized, use -l to show in full. --添加防火牆規則（firewall-cmd命令需要添加3306、4567、4444三個端口）
iptables -A INPUT -s 192.168.11.6 -p tcp -j ACCEPT
iptables -A INPUT -s 192.168.11.7 -p tcp -j ACCEPT
iptables -A INPUT -s 192.168.11.8 -p tcp -j ACCEPT
--關閉數據庫 [root@ren6 ~]# systemctl stop mariadb
2、配置galera（三個節點）
[root@ren6 ~]# vim /etc/my.cnf.d/server.cnf
1 [mysqld] 2 #character-set-server=utf8 #字符集utf-8 3 #skip-name-resolve #跳過主機名 4 #skip-grant-tables #跳過授權表 5 [galera] 6 # Mandatory settings 7 wsrep_on=ON #開啟wsrep協議 8 wsrep_provider=/usr/lib64/galera/libgalera_smm.so #galera的庫文件地址 9 wsrep_cluster_address="gcomm://192.168.11.6,192.168.11.7,192.168.11.8" #各個節點的IP 10 binlog_format=row #二進制日志設置為行模式 11 default_storage_engine=InnoDB #使用的默認引擎InnoDB 12 #wsrep_cluster_name='cluster' #集群名稱 13 wsrep_node_name=ren6 #節點名稱（和主機名無關，和其它節點不能一樣（ren7,ren8）） 14 #wsrep_node_address=192.168.11.6 #節點IP 15 #innodb_autoinc_lock_mode=2 #性能最好 16 #wsrep_slave_threads=1 #並行復制線程數 17 #innodb_flush_log_at_trx_commit=0 #0--log buffer將每秒一次地寫入log file中，並且log file的flush(刷到磁盤)操作同時進行。該模式下在事務提交的時候，不會主動觸發寫入磁盤的操作。
#1--每次事務提交時MySQL都會把log buffer的數據寫入log file，並且flush(刷到磁盤)中去，該模式為系統默認。
#2--每次事務提交時MySQL都會把log buffer的數據寫入log file，但是flush(刷到磁盤)操作並不會同時進行。該模式下，MySQL會每秒執行一次 flush(刷到磁盤)操作 18 #innodb_buffer_pool_size=120M #設置緩存池大小 19 #wsrep_set_method=rsync #遠程同步 20 #wsrep_causal_resds=ON #避免各個節點的數據不一致，這種情況需要等待全同步復制
3、初始化（三個節點）
[root@ren6 ~]# mysqld_safe --wsrep_cluster_address=gcomm://192.168.11.6,192.168.11.7,192.168.11.8 190909 15:37:14 mysqld_safe Logging to '/var/lib/mysql/ren6.err'. 190909 15:37:14 mysqld_safe A mysqld process already exists
4、啟動集群服務（Mariadb Galera Cluster服務）
--在一個節點上執行以下語句，將其作為主節點 [root@ren6 ~]# galera_new_cluster --剩余兩個節點正常啟動 [root@ren7 mysql]# systemctl restart mariadb [root@ren8 mysql]# systemctl restart mariadb
--查看集群狀態（集群服務使用了4567和3306端口）
[root@ren6 ~]# ss -tnl State Recv-Q Send-Q Local Address:Port Peer Address:Port LISTEN 0 128 *:22 *:* LISTEN 0 128 *:4567 *:* LISTEN 0 80 :::3306 :::* LISTEN 0 128 :::22 :::*
5、驗證集群狀態
--進入數據庫
[root@ren6 ~]# mysql -uroot -proot --查看是否啟用galera插件 MariaDB [(none)]> show status like 'wsrep_ready'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | wsrep_ready | ON | +---------------+-------+ 1 row in set (0.02 sec) --查看目前集群機器數 MariaDB [(none)]> show status like 'wsrep_cluster_size'; +--------------------+-------+ | Variable_name | Value | +--------------------+-------+ | wsrep_cluster_size | 3 | +--------------------+-------+ 1 row in set (0.00 sec) --查看鏈接的主機 MariaDB [(none)]> show status like 'wsrep_incoming_addresses'; +--------------------------+-------------------------------------------------------+ | Variable_name | Value | +--------------------------+-------------------------------------------------------+ | wsrep_incoming_addresses | 192.168.11.6:3306,192.168.11.7:3306,192.168.11.8:3306 | +--------------------------+-------------------------------------------------------+ 1 row in set (0.00 sec) --查看集群狀態 MariaDB [(none)]> show status like 'wsrep%'; +-------------------------------+-------------------------------------------------------+ | Variable_name | Value | +-------------------------------+-------------------------------------------------------+ | wsrep_applier_thread_count | 1 | | wsrep_apply_oooe | 0.000000 | | wsrep_apply_oool | 0.000000 | | wsrep_apply_window | 0.000000 | | wsrep_causal_reads | 0 | | wsrep_cert_deps_distance | 0.000000 | | wsrep_cert_index_size | 0 | | wsrep_cert_interval | 0.000000 | | wsrep_cluster_conf_id | 3 | | wsrep_cluster_size | 3 #集群成員數量 | | wsrep_cluster_state_uuid | 8afd1e06-d2e1-11e9-a236-57d18eb2550f #UUID 集群唯一標記 | | wsrep_cluster_status | Primary #主服務器 | | wsrep_cluster_weight | 3 | | wsrep_commit_oooe | 0.000000 | | wsrep_commit_oool | 0.000000 | | wsrep_commit_window | 0.000000 | | wsrep_connected | ON #當前是否連接中 | | wsrep_desync_count | 0 | | wsrep_evs_delayed | | | wsrep_evs_evict_list | | | wsrep_evs_repl_latency | 0/0/0/0/0 | | wsrep_evs_state | OPERATIONAL | | wsrep_flow_control_paused | 0.000000 | | wsrep_flow_control_paused_ns | 0 | | wsrep_flow_control_recv | 0 | | wsrep_flow_control_sent | 0 | | wsrep_gcomm_uuid | 3403bfae-d2e9-11e9-93b9-6ff8fad2851a | | wsrep_incoming_addresses | 192.168.11.6:3306,192.168.11.7:3306,192.168.11.8:3306 | | wsrep_last_committed | 0 #sql 提交記錄 | | wsrep_local_bf_aborts | 0 #從執行事務過程被本地中斷 | | wsrep_local_cached_downto | 18446744073709551615 | | wsrep_local_cert_failures | 0 #本地失敗事務 | | wsrep_local_commits | 0 #本地執行的sql | | wsrep_local_index | 0 | | wsrep_local_recv_queue | 0 | | wsrep_local_recv_queue_avg | 0.250000 | | wsrep_local_recv_queue_max | 2 | | wsrep_local_recv_queue_min | 0 | | wsrep_local_replays | 0 | | wsrep_local_send_queue | 0 #本地發出的隊列 | | wsrep_local_send_queue_avg | 0.000000 #隊列平均時間間隔 | | wsrep_local_send_queue_max | 1 | | wsrep_local_send_queue_min | 0 | | wsrep_local_state | 4 | | wsrep_local_state_comment | Synced | | wsrep_local_state_uuid | 8afd1e06-d2e1-11e9-a236-57d18eb2550f #集群ID | | wsrep_open_connections | 0 | | wsrep_open_transactions | 0 | | wsrep_protocol_version | 9 | | wsrep_provider_name | Galera | | wsrep_provider_vendor | Codership Oy <info@codership.com> | | wsrep_provider_version | 25.3.26(r3857) | | wsrep_ready | ON #插件是否應用中 | | wsrep_received | 4 #數據復制接收次數 | | wsrep_received_bytes | 608 | | wsrep_repl_data_bytes | 0 | | wsrep_repl_keys | 0 | | wsrep_repl_keys_bytes | 0 | | wsrep_repl_other_bytes | 0 | | wsrep_replicated | 0 #隨着復制發出的次數 | | wsrep_replicated_bytes | 0 #數據復制發出的字節數 | | wsrep_rollbacker_thread_count | 1 | | wsrep_thread_count | 2 | +-------------------------------+-------------------------------------------------------+ 63 rows in set (0.00 sec)
6、測試集群mariadb數據是否同步
--在主節點創建一個新數據庫qinqin
MariaDB [(none)]> create database qinqin; Query OK, 1 row affected (0.00 sec)
--在其它兩個節點上查看是否已經同步
[root@ren7 mysql]# mysql -uroot -proot MariaDB [(none)]> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | mysql | | performance_schema | | qinqin | +--------------------+ 4 rows in set (0.00 sec)
注意：
如果啟動集群出錯可參考以下方案，如果galera集群為3個節點(a,b,c)，那么如果關閉的順序為a->b->c
那么如果要再次啟動集群就要先在c上面啟動服務galera_new_cluster，再在另外兩個節點上啟動數據庫service mariadb restart
可以查看/var/lib/mysql/grastate.dat文件的safe_to_bootstrap: 1參數，如果為1代表最后一個停數據庫的
解決方案1：
vim /var/lib/mysql/grastate.dat
把safe_to_bootstrap更改為1
# GALERA saved state
version: 2.1
uuid: a393feef-f639-11e8-9b89-4e75f9b8fb0f
seqno: -1
safe_to_bootstrap: 1
解決方案2：
vim /var/lib/mysql/grastate.dat
查看你的UUID是否是集群的UUID，如果不是需要手動修改為集群的UUID之后在啟動