數據操作過程中,誤執行了delete 操作,現在需要將這些數據恢復
步驟如下:
1.首先需要在數據庫的ROW模式下通過binlog提取SQL語句
這里我將這些數據保存為 binlog_02.sql這樣一個文本文件,內容如下
binlog模式分三種(row,statement,mixed)
1.Row
日志中會記錄成每一行數據被修改的形式,然后在slave端再對相同的數據進行修改,只記錄要修改的數據,只有value,不會有sql多表關聯的情況。
優點:在row模式下,bin-log中可以不記錄執行的sql語句的上下文相關的信息,僅僅只需要記錄那一條記錄被修改了,修改成什么樣了,所以row的日志內容會非常清楚的記錄下每一行數據修改的細節,非常容易理解。而且不會出現某些特定情況下的存儲過程和function,以及trigger的調用和出發無法被正確復制問題。
缺點:在row模式下,所有的執行的語句當記錄到日志中的時候,都將以每行記錄的修改來記錄,這樣可能會產生大量的日志內容。
2.statement
每一條會修改數據的sql都會記錄到master的binlog中,slave在復制的時候sql進程會解析成和原來master端執行多相同的sql再執行。
有點:在statement模式下首先就是解決了row模式的缺點,不需要記錄每一行數據的變化減少了binlog日志量,節省了I/O以及存儲資源,提高性能。因為他只需要激勵在master上所執行的語句的細節一屆執行語句時候的上下的信息。
缺點:在statement模式下,由於他是記錄的執行語句,所以,為了讓這些語句在slave端也能正確執行,那么他還必須記錄每條語句在執行的時候的一些相關信息,也就是上下文信息,以保證所有語句在slave端被執行的時候能夠得到和在master端執行時候相同的結果。另外就是,由於mysql現在發展比較快,很多的新功能不斷的加入,使mysql的復制遇到了不小的挑戰,自然復制的時候涉及到越復雜的內容,bug也就越容易出現。在statement中,目前已經發現不少情況會造成Mysql的復制出現問題,主要是修改數據的時候使用了某些特定的函數或者功能的時候會出現,比如:sleep()函數在有些版本中就不能被正確復制,在存儲過程中使用了last_insert_id()函數,可能會使slave和master上得到不一致的id等等。由於row是基於每一行來記錄的變化,所以不會出現,類似的問題。
3.Mixed
從官方文檔中看到,之前的 MySQL 一直都只有基於 statement 的復制模式,直到 5.1.5 版本的 MySQL 才開始支持 row 復制。從 5.0 開始,MySQL 的復制已經解決了大量老版本中出現的無法正確復制的問題。但是由於存儲過程的出現,給 MySQL Replication 又帶來了更大的新挑戰。另外,看到官方文檔說,從 5.1.8 版本開始,MySQL 提供了除 Statement 和 Row 之外的第三種復制模式:Mixed,實際上就是前兩種模式的結合。在 Mixed 模式下,MySQL 會根據執行的每一條具體的 SQL 語句來區分對待記錄的日志形式,也就是在 statement 和 row 之間選擇一種。新版本中的 statment 還是和以前一樣,僅僅記錄執行的語句。而新版本的 MySQL 中對 row 模式也被做了優化,並不是所有的修改都會以 row 模式來記錄,比如遇到表結構變更的時候就會以 statement 模式來記錄,如果 SQL 語句確實就是 update 或者 delete 等修改數據的語句,那么還是會記錄所有行的變更。
2.使用Python腳本將delete改為insert
# -*- coding: utf-8 -*-
import re
# 列表拆分
def div_list(ls,n):
n = int(n)
ls_len = len(ls)
j = ls_len/n
ls_return = []
for i in range(0,j):
ls_return.append(ls[i*n:(n*(i+1))])
return ls_return
# col_count為表的列數+2,binlog為mysqlbinlog -v處理過后的文本
def exc_binlog(binlog,col_count):
with open(binlog) as f:
lines=[]
for line in f:
if re.search('###',line):
line=re.sub("\(\d+\)","",re.sub("\@\d+\=",",",line.strip().replace("### ","").replace("DELETE FROM ",";INSERT INTO ").replace("WHERE"," SELECT")))
lines.append(line)
list=div_list(lines,col_count)
with open(r"D:\\py\\sql\\binlog_02.sql",'w') as f:
for i in range(0,len(list)):
list1=list[i]
line=" ".join(list1).replace("SELECT ,","SELECT ")+"\n"
f.writelines(line)
if __name__ == '__main__':
import sys
exc_binlog(sys.argv[1],sys.argv[2])
有來個方法不了解:
1.python re模塊 sub方法介紹 http://blog.csdn.net/yangchao228/article/details/6627855
2.sys.argv 這里復制了 這里方法的說明
教程里的源碼我抄下來:
#!/usr/bin/python # Filename: using_sys.py import sys print 'The command line arguments are:' for i in sys.argv: print i print '\n\nThe PYTHONPATH is', sys.path, '\n'
除去注釋的第一行:
import sys
你include了iostream才能系統給你的std::cout;你import了sys,才能使用系統給你的sys.argv。
然后再說說argv這個變量。
「argv」是「argument variable」參數變量的簡寫形式,一般在命令行調用的時候由系統傳遞給程序。
這個變量其實是一個List列表,argv[0] 一般是被調用的腳本文件名或全路徑,和操作系統有關,argv[1]和以后就是傳入的數據了。
然后我們再看調用腳本的命令行:
python using_sys.py we are argumentspython就不用說了,「using_sys.py」腳本名,后面的用空格分割開的「we」「are」「argument」就是參數了。
PS.一般參數由空格分隔,如果參數內部有空格要使用英文雙引號引起來比如這樣:
python using_sys.py hi "I'm 7sDream"
按照教程的命令行運行腳本的時候,按照argv的定義:
argv = ["using_sys.py", "we", "are", "argument"]
3.執行python
這里需要傳參數,所以不能直接在pycharm中直接執行py文件, 進入cmd命令行
輸入 : python deletetoinsert.py d:\py\sql\binlog_02.sql 6
這里參數 d:\py\sql\binlog_02.sql 指需要替換內容的文件位置
6指一行顯示的內容數量
執行完之后,效果如圖所示:
這里有可能會出現一些意外狀況 比如select ,沒辦法匹配,需要自己注意改一下,其他的應該就沒什么問題了