Mysql復制概念
Mysql內建的復制功能是構建大型高性能應用程序的基礎, 將Mysql數據分布到多個系統上,這種分布機制是通過將Mysql某一台主機數據復制到其它主機(slaves)上,並重新執行一遍來實現的。復制過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。主服務器將更新寫入二進制日志文件,並維護文件的一個索引以跟蹤日志循環。這些日志可以記錄發送到從服務器的更新。當一個從服務器連接主服務器時,它通知主服務器從服務器在日志中讀取的最后一次成功更新的位置。從服務器接收從那時起發生的任何更新,然后封鎖並等待主服務器通知新的更新。
Mysql支持哪些復制
- 基於語句的復制: 在主服務器執行SQL語句,在從服務器執行同樣語句。MySQL默認采用基於語句的復制,效率較高。一旦發現沒法精確復制時, 會自動選基於行的復制。
- 基於行的復制: 把改變的內容復制過去,而不是把命令在從服務器上執行一遍. 從mysql5.0開始支持
- 混合類型的復制: 默認采用基於語句的復制,一旦發現基於語句的無法精確的復制時,就會采用基於行的復制。
Mysql復制解決的問題
- 數據分布 (Data distribution )
- 負載平衡(load balancing)
- 據備份(Backups) ,保證數據安全
- 高可用性和容錯行(High availability and failover)
- 實現讀寫分離,緩解數據庫壓力
Mysql主從復制原理
master服務器將數據的改變都記錄到二進制binlog日志中,只要master上的數據發生改變,則將其改變寫入二進制日志;salve服務器會在一定時間間隔內對master二進制日志進行探測其是否發生改變,如果發生改變,則開始一個I/O Thread請求master二進制事件,同時主節點為每個I/O線程啟動一個dump線程,用於向其發送二進制事件,並保存至從節點本地的中繼日志中,從節點將啟動SQL線程從中繼日志中讀取二進制日志,在本地重放,使得其數據和主節點的保持一致,最后I/O Thread和SQL Thread將進入睡眠狀態,等待下一次被喚醒。
需要理解:
- 從庫會生成兩個線程,一個I/O線程,一個SQL線程;
- I/O線程會去請求主庫的binlog,並將得到的binlog寫到本地的relay-log(中繼日志)文件中;
- 主庫會生成一個log dump線程,用來給從庫I/O線程傳binlog;
- SQL線程,會讀取relay log文件中的日志,並解析成sql語句逐一執行;
這里注意幾點:
- master將操作語句記錄到binlog日志中,然后授予slave遠程連接的權限(master要開啟binlog二進制日志功能;通常為了數據安全考慮,slave也開啟binlog);
- slave開啟兩個線程:IO線程和SQL線程。其中:IO線程負責讀取master的binlog內容到中繼日志relay log里;SQL線程負責從relay log日志里讀出binlog內容,並更新到slave的數據庫里,這樣就能保證slave數據和master數據保持一致了;
- mysql復制至少需要兩個Mysql的服務,當然Mysql服務可以分布在不同的服務器上,也可以在一台服務器上啟動多個服務;
- mysql復制最好確保master和slave服務器上的Mysql版本相同(如果不能滿足版本一致,那么要保證master主節點的版本低於slave從節點的版本);
- master和slave兩節點間時間需同步;
Mysql復制流程圖
如上圖所示:
- Mysql復制過程的第一部分就是master記錄二進制日志。在每個事務更新數據完成之前,master在二日志記錄這些改變。MySQL將事務串行的寫入二進制日志,即使事務中的 語句都是交叉執行的。在事件寫入二進制日志完成后,master通知存儲引擎提交事務;
- 第二部分就是slave將master的binary log拷貝到它自己的中繼日志。首先,slave開始一個工作線程(I/O線程)。I/O線程在master上打開一個普通的連接,然后開始binlog dump process。Binlog dump process從master的二進制日志中讀取事件,如果已經跟上master,它會睡眠並等待master產生新的事件。I/O線程將這些事件寫入中繼日志;
- SQL slave thread(SQL從線程)處理該過程的最后一步。SQL線程從中繼日志讀取事件,並重放其中的事件而更新slave的數據,使其與master中的數據一致。只要該線程與 I/O線程保持一致,中繼日志通常會位於OS的緩存中,所以中繼日志的開銷很小;
- 此外,在master中也有一個工作線程:和其它MySQL的連接一樣,slave在master中打開一個連接也會使得master開始一個線程。復制過程有一個很重要的限制, 即復制在slave上是串行化的,也就是說master上的並行更新操作不能在slave上並行操作。
Mysql復制模式
主從復制: 主庫授權從庫遠程連接,讀取binlog日志並更新到本地數據庫的過程;主庫寫數據后,從庫會自動同步過來(從庫跟着主庫變);
主主復制: 主從相互授權連接,讀取對方binlog日志並更新到本地數據庫的過程;只要對方數據改變,自己就跟着改變;
Mysql主從復制優點
在從服務器可以執行查詢工作(即我們常說的讀功能),降低主服務器壓力;(主庫寫,從庫讀,降壓)
在從主服務器進行備份,避免備份期間影響主服務器服務;(確保數據安全)
當主服務器出現問題時,可以切換到從服務器。(提升性能)
Mysql主從復制工作流程關鍵細節
1) MySQL支持單向、異步復制,復制過程中一個服務器充當主服務器,而一個或多個其它服務器充當從服務器。MySQL復制基於主服務器在二進制日志中跟蹤所有對數據庫的更改(更新、刪除等等)。因此,要進行復制,必須在主服務器上啟用二進制日志。每個從服務器從主服務器接收主服務器上已經記錄到其二進制日志的保存的更新。當一個從服務器連接主服務器時,它通知主服務器定位到從服務器在日志中讀取的最后一次成功更新的位置。從服務器接收從那時起發生的任何更新,並在本機上執行相同的更新。然后封鎖並等待主服務器通知新的更新。從服務器執行備份不會干擾主服務器,在備份過程中主服務器可以繼續處理更新。
2) MySQL使用3個線程來執行復制功能,其中兩個線程(Sql線程和IO線程)在從服務器,另外一個線程(IO線程)在主服務器。當發出START SLAVE時,從服務器創建一個I/O線程,以連接主服務器並讓它發送記錄在其二進制日志中的語句。主服務器創建一個線程將二進制日志中的內容發送到從服務器。該線程可以即為主服務器上SHOW PROCESSLIST的輸出中的Binlog Dump線程。從服務器I/O線程讀取主服務器Binlog Dump線程發送的內容並將該數據拷貝到從服務器數據目錄中的本地文件中,即中繼日志。第3個線程是SQL線程,由從服務器創建,用於讀取中繼日志並執行日志中包含的更新。在從服務器上,讀取和執行更新語句被分成兩個獨立的任務。當從服務器啟動時,其I/O線程可以很快地從主服務器索取所有二進制日志內容,即使SQL線程執行更新的遠遠滯后。
mysql 主從復制注意事項小結
Mysql主從數據完成同步的過程
1) 在Slave 服務器上執行sart slave命令開啟主從復制開關,開始進行主從復制。
2) 此時,Slave服務器的IO線程會通過在master上已經授權的復制用戶權限請求連接master服務器,並請求從執行binlog日志文件的指定位置(日志文件名和位置就是在配置主從復制服務時執行change master命令指定的)之后開始發送binlog日志內容
3) Master服務器接收到來自Slave服務器的IO線程的請求后,其上負責復制的IO線程會根據Slave服務器的IO線程請求的信息分批讀取指定binlog日志文件指定位置之后的binlog日志信息,然后返回給Slave端的IO線程。返回的信息中除了binlog日志內容外,還有在Master服務器端記錄的IO線程。返回的信息中除了binlog中的下一個指定更新位置。
4) 當Slave服務器的IO線程獲取到Master服務器上IO線程發送的日志內容、日志文件及位置點后,會將binlog日志內容依次寫到Slave端自身的Relay Log(即中繼日志)文件(Mysql-relay-bin.xxx)的最末端,並將新的binlog文件名和位置記錄到master-info文件中,以便下一次讀取master端新binlog日志時能告訴Master服務器從新binlog日志的指定文件及位置開始讀取新的binlog日志內容
5) Slave服務器端的SQL線程會實時檢測本地Relay Log 中IO線程新增的日志內容,然后及時把Relay LOG 文件中的內容解析成sql語句,並在自身Slave服務器上按解析SQL語句的位置順序執行應用這樣sql語句,並在relay-log.info中記錄當前應用中繼日志的文件名和位置點.
主從復制條件
- 開啟Binlog功能
- 主庫要建立賬號
- 從庫要配置master.info (CHANGE MASTER to...相當於配置密碼文件和Master的相關信息)
- start slave 開啟復制功能
主從復制時需要理解
- 3個線程,主庫IO,從庫IO和SQL及作用
- master.info(從庫)作用
- relay-log 作用
- 異步復制
- binlog作用 (如果需要級聯需要開啟Binlog)
主從復制時注意事項
- 主從復制是異步邏輯的SQL語句級的復制
- 復制時,主庫有一個I/O線程,從庫有兩個線程,I/O和SQL線程
- 實現主從復制的必要條件是主庫要開啟記錄binlog功能
- 作為復制的所有Mysql節點的server-id都不能相同
- binlog文件只記錄對數據庫有更改的SQL語句(來自主庫內容的變更),不記錄任何查詢(select,show)語句
徹底解除主從復制關系
- stop slave;
- reset slave; 或直接刪除master.info和relay-log.info這兩個文件;
- 修改my.cnf刪除主從相關配置參數。
讓slave不隨MySQL自動啟動
修改my.cnf 在[mysqld]中增加"skip-slave-start"選項。
主從復制實現后,使用mysqldump備份數據時,注意按照下面方式
# mysqldump --master-data --single-transaction --user=username --password=password dbname> dumpfilename 這樣就可以保留 file 和 position 的信息,在新搭建一個slave時,還原完數據庫, file 和 position 的信息也隨之更新,接着再執行"start slave"就可以很迅速的完成增量同步!
需要限定同步哪些數據庫,有3個思路
- 在執行grant授權的時候就限定數據庫;
- 在主服務器上限定binlog_do_db = 數據庫名;
- 主服務器上不限定數據庫,在從服務器上限定replicate-do-db = 數據庫名;
如果想實現"主-從(主)-從" 這樣的鏈條式結構,需要設置
log-slave-updates #只有加上它,從前一台機器上同步過來的數據才能同步到下一台機器。 log-bin=/opt/mysql/binlogs/bin-log #二進制日志也必須開啟 log-bin-index=/opt/mysql/binlogs/bin-log.index expire_logs_days=14 # 還可以設置一個log保存周期
Mysql主從同步時過濾部分庫或表的設置
Mysql復制過濾
讓從節點僅僅復制指定的數據庫,或指定數據庫的指定數據表。主服務器有10個數據庫,而從節點只需要同步其中的一兩個數據庫。這個時候就需要復制過濾。復制過濾器可以在主節點中實現,也可以在從節點中實現。Mysql主從同步部分數據有兩個思路: master只發送需要的;Slave只接收想要的。
master主節點
在主節點的二進制事件日志中僅記錄與指定數據庫(數據表)相關的事件日志,但是主節點的二進制日志不完整,沒有記錄所有對主節點的修改操作。如果要使用該方式,則在主節點的配置文件中添加如下參數:
binlog_do_db="***,***,***"; #數據庫白名單列表,二進制日志記錄的數據庫(多數據庫用逗號隔開或重復設置多行),即需要同步的庫.不在內的不同步。(不添加這行表示同步所有) binlog_ingore_db="***,***,***"; #數據庫黑名單列表, 二進制日志中忽略的數據庫 (多數據庫用逗號隔開或重復設置多行),即不需要同步,要過濾掉的庫.
slave從節點
從服務器SQL Thread在Replay中繼日志中的事件時僅讀取於特定數據庫相關的事件,並應用於本地. (但是浪費I/O ,浪費帶寬) 推薦使用從節點復制過濾相關設置項:
replicate_do_db ="webdb"; #復制庫的白名單. 設定需要復制的數據庫(多數據庫使用逗號隔開或重復設置多行) replicate_ingore_db ="mysql"; #復制庫的黑名單. 設定需要忽略的復制數據庫 (多數據庫使用逗號隔開或重復設置多行) replicate_do_table="webdb.user"; #復制表的白名單. 設定需要復制的表(多數據庫使用逗號隔開或重復設置多行) relicate_ingore_table="webdb.uw"; #復制表的黑名單. 設定需要忽略的復制的表(多數據庫使用逗號隔開或重復設置多行) replicate-wild-do-table #同replication-do-table功能一樣,但是可以通配符. 更高級別的應用,通配符,應用到哪一類表的。 replicate-wild-ignore-table #同replication-ignore-table功能一樣,但是可以加通配符.
當在主庫存在的庫而從庫不存在的庫同步時,會出現sql錯誤,這時候可以排除或者從庫手動導入主庫數據庫;
從庫可以使用通配符
"庫名.%"
方式過濾主從同步時某個庫的設置
replicate-wild-do-table=webdb.% #只復制webdb庫下的所有表 replicate-wild-ignore-table=mysql.% #忽略mysql庫下的所有表
特別注意: 生產庫上一般不建議設置過濾規則, 如果非要設置, 強烈建議從庫使用通配符方式過濾某個庫
replicate-wild-do-table= "庫名.%" replicate-wild-ignore-table= "庫名.%"
而不建議從庫使用DB方式過濾某個庫:
replicate_do_db ="庫名" replicate_ingore_db ="庫名"
mysql主從/主主同步環境部署記錄
1)環境描述
mysql的安裝可以參考:http://www.cnblogs.com/kevingrace/p/6109679.html Centos6.8版本 master:182.148.15.238 slave: 182.148.15.237 注意下面幾點: 1)要保證同步服務期間之間的網絡聯通。即能相互ping通,能使用對方授權信息連接到對方數據庫(防火牆開放3306端口)。 2)關閉selinux。 3)同步前,雙方數據庫中需要同步的數據要保持一致。這樣,同步環境實現后,再次更新的數據就會如期同步了。
2)主從復制實現過程記錄
為了測試效果,先在master機器上創建測試庫 mysql> CREATE DATABASE huanqiu CHARACTER SET utf8 COLLATE utf8_general_ci; Query OK, 1 row affected (0.00 sec) mysql> use huanqiu; Database changed mysql> create table if not exists haha (id int(10) PRIMARY KEY AUTO_INCREMENT,name varchar(50) NOT NULL); Query OK, 0 rows affected (0.02 sec) mysql> insert into huanqiu.haha values(1,"wangshibo"),(2,"guohuihui"); Query OK, 2 rows affected (0.00 sec) Records: 2 Duplicates: 0 Warnings: 0 mysql> select * from huanqiu.haha; +----+-----------+ | id | name | +----+-----------+ | 1 | wangshibo | | 2 | guohuihui | +----+-----------+ 2 rows in set (0.00 sec) -------------------------------------------------------------------- 溫馨提示: 修改庫或表的字符集 mysql> alter database huanqiu default character set utf8; //修改huanqiu庫的字符集 mysql> alter table huanqiu.haha default character set utf8; //修改huanqiu.haha表的字符集 添加主鍵 mysql> Alter table huanqiu.haha add primary key(id); //將huanqiu.haha表的id添加主鍵 mysql> Alter table huanqiu.haha change id id int(10) not null auto_increment; //自增長屬性 刪除主鍵時要先刪除自增長,再刪除主鍵 mysql> Alter table huanqiu.haha change id id int(10); //刪除自增長 mysql> Alter table huanqiu.haha drop primary key; //刪除主建 -------------------------------------------------------------------- 下面是master數據庫上的操作: 1)設置master數據庫的my.cnf文件(在[mysqld]配置區域添加下面內容) [root@master ~]# vim /usr/local/mysql/my.cnf ....... server-id=1 #數據庫唯一ID,主從的標識號絕對不能重復。 log-bin=mysql-bin #開啟bin-log,並指定文件目錄和文件名前綴 binlog-do-db=huanqiu #需要同步的數據庫。如果是多個同步庫,就以此格式另寫幾行即可。如果不指明對某個具體庫同步,就去掉此行,表示同步所有庫(除了ignore忽略的庫)。 binlog-ignore-db=mysql #不同步mysql系統數據庫。如果是多個不同步庫,就以此格式另寫幾行;也可以在一行,中間逗號隔開。 sync_binlog = 1 #確保binlog日志寫入后與硬盤同步 binlog_checksum = none #跳過現有的采用checksum的事件,mysql5.6.5以后的版本中binlog_checksum=crc32,而低版本都是binlog_checksum=none binlog_format = mixed #bin-log日志文件格式,設置為MIXED可以防止主鍵重復。 -------------------------------------------------------------------------------- 溫馨提示:在主服務器上最重要的二進制日志設置是sync_binlog,這使得mysql在每次提交事務的時候把二進制日志的內容同步到磁盤上,即使服務器崩潰也會把事件寫入日志中。 sync_binlog這個參數是對於MySQL系統來說是至關重要的,他不僅影響到Binlog對MySQL所帶來的性能損耗,而且還影響到MySQL中數據的完整性。對於"sync_binlog"參數的各種設置的說明如下: sync_binlog=0,當事務提交之后,MySQL不做fsync之類的磁盤同步指令刷新binlog_cache中的信息到磁盤,而讓Filesystem自行決定什么時候來做同步,或者cache滿了之后才同步到磁盤。 sync_binlog=n,當每進行n次事務提交之后,MySQL將進行一次fsync之類的磁盤同步指令來將binlog_cache中的數據強制寫入磁盤。 在MySQL中系統默認的設置是sync_binlog=0,也就是不做任何強制性的磁盤刷新指令,這時候的性能是最好的,但是風險也是最大的。因為一旦系統Crash,在binlog_cache中的所有binlog信息都會被丟失。而當設置為“1”的時候,是最安全但是性能損耗最大的設置。因為當設置為1的時候,即使系統Crash,也最多丟失binlog_cache中未完成的一個事務,對實際數據沒有任何實質性影響。 從以往經驗和相關測試來看,對於高並發事務的系統來說,“sync_binlog”設置為0和設置為1的系統寫入性能差距可能高達5倍甚至更多。 -------------------------------------------------------------------------------- 2)導出master數據庫多余slave數據庫中的數據,然后導入到slave數據庫中。保證雙方在同步環境實現前的數據一致。 導出數據庫之前先鎖定數據庫 mysql> flush tables with read lock; #數據庫只讀鎖定命令,防止導出數據庫的時候有數據寫入。unlock tables命令解除鎖定 導出master數據庫中多余的huanqiu庫(master數據庫的root用戶登陸密碼:123456) [root@master ~]# mysqldump -uroot huanqiu -p123456 >/opt/huanqiu.sql [root@master ~]# rsync -e "ssh -p22" -avpgolr /opt/huanqiu.sql 182.148.15.237:/opt/ #將導出的sql文件上傳到slave機器上 3)設置數據同步權限 mysql> grant replication slave,replication client on *.* to slave@'182.148.15.237' identified by "slave@123"; Query OK, 0 rows affected (0.02 sec) mysql> flush privileges; Query OK, 0 rows affected (0.00 sec) -------------------------------------------------------------------------------- 溫馨提示: 權限查看方式 mysql> show grants; mysql> show grants for slave@'182.148.1115.237'; -------------------------------------------------------------------------------- 4)查看主服務器master狀態(注意File與Position項,從服務器需要這兩項參數) mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000007 | 120 | huanqiu | mysql | | +------------------+----------+--------------+------------------+-------------------+ 1 row in set (0.00 sec) 下面是slave數據庫上的操作: 1)設置slave數據庫的my.cnf配置文件 [root@master ~]# vim /usr/local/mysql/my.cnf ....... server-id=2 #設置從服務器id,必須於主服務器不同 log-bin=mysql-bin #啟動MySQ二進制日志系統 replicate-do-db=huanqiu #需要同步的數據庫名。如果不指明同步哪些庫,就去掉這行,表示所有庫的同步(除了ignore忽略的庫)。 replicate-ignore-db=mysql #不同步mysql系統數據庫 slave-skip-errors = all #跳過所有的錯誤錯誤,繼續執行復制操作 ----------------------------------------------------------------------------------------------- 溫馨提示: 當只針對某些庫的某張表進行同步時,如下,只同步huanqiu庫的haha表和huanpc庫的heihei表: replicate-do-db = huanqiu replicate-wild-do-table = huanqiu.haha //當只同步幾個或少數表時,可以這樣設置。注意這要跟上面的庫指定配合使用; replicate-do-db = huanpc replicate-wild-do-table = huanpc.heihei //如果同步的庫的表比較多時,就不能這樣一一指定了,就把這個選項配置去掉,直接根據指定的庫進行同步。 ----------------------------------------------------------------------------------------------- 2)在slave數據庫中導入從master傳過來的數據。 mysql> CREATE DATABASE huanqiu CHARACTER SET utf8 COLLATE utf8_general_ci; #先創建一個huanqiu空庫,否則下面導入數據時會報錯說此庫不存在。 mysql> use huanqiu; mysql> source /opt/huanqiu.sql; #導入master中多余的數據。 ....... 3)配置主從同步指令 mysql> stop slave; #執行同步前,要先關閉slave mysql> change master to master_host='182.148.15.238',master_user='slave',master_password='slave@123',master_log_file='mysql-bin.000007',master_log_pos=120; mysql> start slave; mysql> show slave status \G; ....... *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 182.148.15.238 Master_User: slave Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000007 Read_Master_Log_Pos: 120 Relay_Log_File: mysql-relay-bin.000002 Relay_Log_Pos: 279 Relay_Master_Log_File: mysql-bin.000007 Slave_IO_Running: Yes Slave_SQL_Running: Yes Replicate_Do_DB: huanqiu Replicate_Ignore_DB: mysql ............. Seconds_Behind_Master: 0 如上,當IO和SQL線程的狀態均為Yes,則表示主從已實現同步了! 查看slave數據庫中的數據情況 mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | huanqiu | | mysql | | performance_schema | | test | +--------------------+ 5 rows in set (0.00 sec) mysql> select * from huanqiu.haha; +----+-----------+ | id | name | +----+-----------+ | 1 | wangshibo | | 2 | guohuihui | +----+-----------+ 2 rows in set (0.00 sec) 下面測試下Mysql主從同步的效果 現在主數據庫上寫入新數據 mysql> unlock tables; #解鎖,否則新數據無法寫入 mysql> insert into huanqiu.haha values(100,"anhui"); Query OK, 1 row affected (0.00 sec) 然后在slave數據庫上查看,發現master上新寫入的數據已經同步過來了 mysql> select * from huanqiu.haha; +-----+-----------+ | id | name | +-----+-----------+ | 1 | wangshibo | | 2 | guohuihui | | 100 | anhui | +-----+-----------+ 3 rows in set (0.00 sec) 至此,主從同步環境已經實現!
Mysql主從環境部署一段時間后,發現主從不同步時,如何進行數據同步至一致?
有以下兩種做法:
1)參考:mysql主從同步(2)-問題梳理 中的第(4)步的第二種方法
2)參考:mysql主從同步(3)-percona-toolkit工具(數據一致性監測、延遲監控)使用梳理
溫馨提示:在實際業務場景中,mysq主從同步時最好別過濾庫,即最好進行基於整個數據庫的同步配置。如果業務庫比較多的情況下,可使用mysql多實例方式進行同步,一個業務庫對應一個mysql實例,每個mysql實例做基於它的整個數據庫的同步配置。使用過濾庫或過濾表的方式進行主從同步配置,后續會帶來一些比較麻煩的坑。
從庫同步主庫的命令調整為: "change master to master_host = '主數據庫ip', master_port = 主數據庫mysql端口, master_user ='同步的用戶', master_password ='同步的密碼';" 針對上面的主從配置,調整為基於整個數據庫的主從同步配置,調整后的配置: 主數據庫的my.cnf配置: server-id=1 log-bin=mysql-bin sync_binlog = 1 binlog_checksum = none binlog_format = mixed 從數據庫的my.cnf配置: server-id=2 log-bin=mysql-bin slave-skip-errors = all 從庫同步主庫的命令如下(即不需要跟master_log_file 和 master_log_pos=120) mysql> change master to master_host = '182.148.15.238', master_port = 3306, master_user ='slave', master_password ='slave@123';
3)主主復制實現過程記錄
根據上面的主從環境部署,master和slave已經實現同步,即在master上寫入新數據,自動同步到slave。而從庫只能讀不能寫,一旦從庫有寫入數據,就會造成主從數據不一致! 下面就說下Mysql主主復制環境,在slave上更新數據時,master也能自動同步過來。 --------------------------------------------------------------------------- 溫馨提示: 在做主主同步前,提醒下需要特別注意的一個問題: 主主復制和主從復制有一些區別,因為多主中都可以對服務器有寫權限,所以設計到自增長重復問題,例如: 出現的問題(多主自增長ID重復) 1)首先在A和B兩個庫上創建test表結構; 2)停掉A,在B上對數據表test(存在自增長屬性的ID字段)執行插入操作,返回插入ID為1; 3)然后停掉B,在A上對數據表test(存在自增長屬性的ID字段)執行插入操作,返回的插入ID也是1; 4)然后 同時啟動A,B,就會出現主鍵ID重復 解決方法: 只要保證兩台服務器上的數據庫里插入的自增長數據不同就可以了 如:A插入奇數ID,B插入偶數ID,當然如果服務器多的話,還可以自定義算法,只要不同就可以了 在下面例子中,在兩台主主服務器上加入參數,以實現奇偶插入! 記住:在做主主同步時需要設置自增長的兩個相關配置,如下: auto_increment_offset 表示自增長字段從那個數開始,取值范圍是1 .. 65535。這個就是序號。如果有n台mysql機器,則從第一台開始分為設1,2...n auto_increment_increment 表示自增長字段每次遞增的量,其默認值是1,取值范圍是1 .. 65535。如果有n台mysql機器,這個值就設置為n。 在主主同步配置時,需要將兩台服務器的: auto_increment_increment 增長量都配置為2 auto_increment_offset 分別配置為1和2。這是序號,第一台從1開始,第二台就是2,以此類推!這樣效果就是:master的數據id是1,3,5,7..., slave的數據id是2,4,6,8.... 這樣才可以避免兩台服務器同時做更新時自增長字段的值之間發生沖突。(針對的是有自增長屬性的字段) --------------------------------------------------------------------------- 現在記錄下主主同步的操作過程: 1)在master上的my.cnf配置: [root@master ~]# vim /usr/local/mysql/my.cnf server-id = 1 log-bin = mysql-bin binlog-ignore-db = mysql,information_schema sync_binlog = 1 binlog_checksum = none binlog_format = mixed auto-increment-increment = 2 auto-increment-offset = 1 slave-skip-errors = all [root@master ~]# /etc/init.d/mysql restart Shutting down MySQL. SUCCESS! Starting MySQL.. SUCCESS! 數據同步授權(iptables防火牆開啟3306端口,要確保對方機器能使用下面權限連接到本機mysql) mysql> grant replication slave,replication client on *.* to slave@'182.148.15.237' identified by "slave@123"; mysql> flush privileges; 最好將庫鎖住,僅僅允許讀,以保證數據一致性;待主主同步環境部署后再解鎖;鎖住后,就不能往表里寫數據,但是重啟mysql服務后就會自動解鎖! mysql> FLUSH TABLES WITH READ LOCK; //注意該參數設置后,如果自己同步對方數據,同步前一定要記得先解鎖! Query OK, 0 rows affected (0.00 sec) mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000001 | 1970 | | | | +------------------+----------+--------------+------------------+-------------------+ 1 row in set (0.00 sec) 2)slave數據庫上 [root@slave ~]# vim /usr/local/mysql/my.cnf server-id = 2 log-bin = mysql-bin binlog-ignore-db = mysql,information_schema sync_binlog = 1 binlog_checksum = none binlog_format = mixed auto-increment-increment = 2 auto-increment-offset = 2 slave-skip-errors = all [root@slave ~]# /etc/init.d/mysql restart Shutting down MySQL. SUCCESS! Starting MySQL.. SUCCESS! 數據同步授權(iptables防火牆開啟3306端口,要確保對方機器能使用下面權限連接到本機mysql) 同理,slave也要授權給master機器遠程同步數據的權限 mysql> grant replication slave ,replication client on *.* to slave@'182.148.15.238' identified by "slave@123"; mysql> flush privileges; mysql> FLUSH TABLES WITH READ LOCK; mysql> show master status; +------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+-------------------+ | mysql-bin.000001 | 4136 | | | | +------------------+----------+--------------+------------------+-------------------+ 1 row in set (0.00 sec) 3)執行主主同步操作 先在slave數據庫上做同步master的設置。(確保slave上要同步的數據,提前在master上存在。最好雙方數據保持一致) mysql> unlock tables; //先解鎖,將對方數據同步到自己的數據庫中 mysql> slave stop; mysql> change master to master_host='182.148.15.238',master_user='slave',master_password='slave@123',master_log_file='master-bin.000001',master_log_pos=1970; mysql> start slave; mysql> show slave status \G; *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 182.148.15.238 Master_User: slave Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000001 Read_Master_Log_Pos: 1970 Relay_Log_File: mysql-relay-bin.000003 Relay_Log_Pos: 750 Relay_Master_Log_File: mysql-bin.000001 Slave_IO_Running: Yes Slave_SQL_Running: Yes .................. 這樣就實現了slave->master的同步環境。 再在master數據庫上做同步slave的設置。(確保slave上要同步的數據,提前在master上存在。最好雙方數據保持一致) mysql> unlock tables; mysql> slave stop; mysql> change master to master_host='182.148.15.237',master_user='slave',master_password='slave@123',master_log_file='master-bin.000001',master_log_pos=4136; mysql> start slave; mysql> show slave status \G; *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 182.148.15.237 Master_User: slave Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000001 Read_Master_Log_Pos: 4136 Relay_Log_File: mysql-relay-bin.000003 Relay_Log_Pos: 750 Relay_Master_Log_File: mysql-bin.000001 Slave_IO_Running: Yes Slave_SQL_Running: Yes .................. 這樣就實現了master->slave的同步環境。至此,主主雙向同步環境已經實現! 測試下Mysql主主同步的效果 在master上寫入新數據 mysql> select * from huanqiu.haha; +-----+-----------+ | id | name | +-----+-----------+ | 1 | wangshibo | | 2 | guohuihui | | 100 | anhui | +-----+-----------+ 3 rows in set (0.00 sec) mysql> insert into huanqiu.haha values(15,"guocongcong"); 在slave數據庫中查看,發現master新寫入的數據已經同步過來了 mysql> select * from huanqiu.haha; +-----+------------+ | id | name | +-----+------------+ | 1 | wangshibo | | 2 | guohuihui | | 15 | guocongcong| | 100 | anhui | +-----+------------+ 3 rows in set (0.00 sec) 在slave上刪除數據 mysql> delete from huanqiu.haha where id=100; 在master數據庫中查看 mysql> select * from huanqiu.haha; +-----+------------+ | id | name | +-----+------------+ | 1 | wangshibo | | 2 | guohuihui | | 15 | guocongcong| +-----+------------+ 3 rows in set (0.00 sec)