MySQL數據庫Inception工具學習與測試 筆記

MySQL語句的審核，在業界都已經基本被認同了，實際上也是對MySQL語句寫法的統一化，標准化，而之前的人工審核，針對標准這個問題其實是很吃力的，標准越多，DBA越累，開發也越累。 那么在這個都追求自動化運維的時代，審核也必須要跟上步伐，因此Inception誕生了。而Inception可以做的工作遠不止是一個自動化審核工具，同時還具備執行，生成對影響數據的回滾語句（類似閃回的功能），這樣一條龍服務的工具，將會給DBA的工作帶來翻天覆地的變化，DBA從此就從繁重的審核、登上去執行，出錯了很難回滾（如果提前沒有備份的話）的被動局面解放了出來，突然發現，做DBA原來可以這么輕松，工作可以不飽和了，那就有更多的自由時間學習、進一步向自動化運維平台的實現等更智能化的方向去發展，是具有里程碑意義的。 

1.Inception架構原理

Inception是集審核、執行、回滾於一體的一個自動化運維系統。它是根據MySQL代碼修改過來的。

相對於應用程序（上層審核流程系統等）而言，它是一個服務器，在連接時需要指定

2.Inception安裝

2.1 環境配置

安裝依賴項

yum install cmake ncurses-devel gcc gcc-c++ openssl-devel

移除bison較新的版本

yum remove bison –y

從http://ftp.gnu.org/gnu/bison/ 路徑，下載 bison-2.6.1.tar.gz 指定版本。下載后，上傳至服務器。

解壓並安裝bison

tar zxvf bison-2.6.1.tar.gz

cd bison-2.6.1

./configure && make && make install

2.2 下載安裝Inception

下載

 wget https://github.com/qunarcorp/inception/archive/master.zip

解壓

unzip master.zip

cd inception-master

./inception_build.sh debug [Xcode]

指定路徑下創建inc.cnf

touch /data/Inception/inc.cnf

初始化

/data/Inception/inception-master/debug/mysql/bin/Inception --defaults-file=/data/Inception/inc.cnf &

（##Inception 最佳啟動方式是通過nohup后台啟動

nohup /data/Inception/inception-master/debug/mysql/bin/Inception --defaults-file=/data/Inception/inc.cnf &
） 

2.3 關閉Inception

找到初始化后的Inception

 關閉Inception

kill -9 7927

 2.4 修改增加配置項

[inception]
general_log=1
general_log_file=inc.log
port=6669
socket=/tmp/inc.socket
character-set-client-handshake=0
character-set-server=utf8
inception_remote_system_password=備份庫密碼
inception_remote_system_user=備份庫賬號
inception_remote_backup_port=備份庫實例端口
inception_remote_backup_host=備份庫IP
inception_support_charset=utf8mb4,utf8,latin1
inception_enable_nullable=0
inception_check_primary_key=1
inception_check_column_comment=1
inception_check_table_comment=1
inception_osc_min_table_size=1
inception_osc_bin_dir=/data/temp
inception_osc_chunk_time=0.1
inception_ddl_support=1
inception_enable_blob_type=1
inception_check_column_default_value=1

（如果執行 ./inception_build.sh debug [Xcode] 命令報錯，可將inception-master目錄刪除，重新解壓，然后用

./inception_build.sh build linux 替代。當然，此時的可執行文件 在 /data/Inception/inception-master/build/mysql/bin/Inception

更多的安裝知識，可參閱 https://qunarcorp.github.io/inception/install/）

2.5 連接驗證

通過mysql 客戶端連接

執行 代碼驗證

 inception get variables;

 

2.6 Inception的選項支持

參數名	是否需要參數	是否可選	功能描述
--host	是	否	需要操作的這部分語句塊對應的數據庫地址。指定方式可以是IP地址、機器名或DNS域名等，只能唯一解析到這個機器即可。
--port	是	否	與上面的--host選項對應，指定機器名，必然要再指定一個MySQL實例的端口。
--user	是	否	通過--user指定的用戶名來連接需要操作SQL語句的MySQL實例。
--password	是	否	與上面的--user選項對應。
--sleep	是	是	這個參數用來指定在執行完每一條語句后，暫停多少毫秒，這樣可以適當控制對線上數據庫的沖擊，特別是針對大量的寫入操作， 單位是毫秒，最小值為0，也就是不暫停，最大值為100秒，也就是100000毫秒。如果設置的值超過了100000毫秒， Inception會自動將其設置為100000毫秒。這個參數可以和其他參數一起設置，但是只有在--enable-execute為1的情況下，才起作用。
--enable-check	否	否	告訴Inception當前要做什么操作，是審核還是執行，這個參數與下面的--enable-execute智能指定一個。enable-check就是要告訴Inception， 當前的請求是要做審核操作，審核完成后就返回結果集。
--enable-execute	否	否	如果執行的選項是--enable-execute，則Inception在執行前還會做一次實時的審核，這個審核和前面指定的--enable-check時的 審核是基本相同的，這是這次在審核完成后，還會繼續進行。因為相同的語句在不同的時間審核可能會產生不同的審核結果（環境有可能變了）， 所以有必要再做一次審核。如果審核發現了錯誤（而不是警告），就不會被執行，此時會提前返回告知錯誤；如果審核發現的是警告， 並且沒有指定--enable-ignore-warnings，則有警告也不會執行。
--enable-ignore-warnings	否	是	Inception采取嚴格的分階段處理方式，先對所有的語句進行審核，審核完成之后，會執行所有的語句，之后再會執行所有語句的備份操作。 在三個階段的過渡過程中，如果審核有問題則不會繼續進行，此時如果人為確定想要跳過這些警告，則可以選擇這個參數， 告訴Inception跳過這個警告的檢查，繼續執行。
--enable-force	否	是	批量導入時，有可能會報主鍵沖突的問題，而DBA可以確定的是，出現主鍵沖突不是問題，可以繼續執行，那么此時可以通過選項 --enable-force告訴Inception,在執行過程中碰到一個錯誤時，可以先保存錯誤信息並繼續下一條語句。此參數需謹慎使用。
--enable-remote-back	否	是	Inception支持備份並生成對應的回滾語句，這是默認的，但當有些影響行數很多且明確不需要回滾的時候，為了提高執行效率， 可以指定在執行時不做備份，指定方式是通過disable來禁用它，即disable-remote-backup。
--enable-split	否	是	這個參數用來拆分要執行的語句塊。如果在語句塊中存在對同一個表的DDL操作和DML操作，那么在分析Binlog來生成回滾語句時， 由於表結構已經發生改變，會導致Inception沒有辦法處理，所以使用這個參數將這些語句分成多批，然后再分別執行。這是在執行前 必須要做的一個操作，不然可能會產生不可預知的錯誤。當然在執行前的最后一次審核中，如果檢查到這樣的混用情況， 則會返回報錯，而不是警告。
--enable-query-print	否	是	這個參數用來打印SQL語句在被Inception分析之后的執行樹結構，已JSON的形式提供，目的是為了可以在Inception的基礎上， 對已經結構化的（JSON）語句再次分析，可以對Inception內置支持的規則進行擴展，做個性化定制，比如使用到哪些列、 哪些語句類型等信息。

2.7 Inception結構集導讀

返回列	詳細描述
ID	用來表示結果集中記錄序號的，也就是被審核的語句在語句塊中的序號，按位置排序，計數從1開始。
stage	顯示當前語句已經進行到哪一步了，包括四個值：CHECKED、EXECUTED、RERUN和NONE。CHECKED表示這個語句只做審核，而沒有再進行下一步操作；EXECUTED表示已經執行過， 如果執行失敗，也是用這個狀態表示，RERUN表示的是，對於影響上下文的語句，已經執行成功了，但是為了與EXECUTED區分，用RERUN表示，主要是因為在執行過程中，如果某一條語句 執行失敗了，則上層可能需要將沒有執行的語句提取出來，再次執行，那么影響上下文的語句就是需要加上的，所以用RERUN來表示。Inception目前支持兩種影響上下文的語句，分別是 set names charset 語句和use database語句。NONE表示沒有做過任何處理，有可能前面有語法錯誤直接提前返回。
errlevel	總共有三個值，分別是0、1、2。如果為0，則說明當前語句審核沒有任何問題；如果為1，則說明當前語句審核時發現有些寫法不符合Inception定義的內置規則，屬於警告；如果值為2，則說明 當前語句審核時，發現了嚴重錯誤，無論如何都不能通過的。
stagestatus	該列用來描述當前語句的階段結果，與列stage對應。如果是審核階段，並且完成，則返回Audit completed。如果是執行階段，並且執行成功則返回Execute Successfully，否則返回Execute failed。如果是備份階段，並且備份成功，則在執行描述信息后面追加Backup successfully，否則追加Backup failed。
errormessage	用來表示出錯的錯誤信息，這里包括一條語句中的所有錯誤信息，用換行符分隔，但有時候如果某一個錯誤導致不能繼續分析了，比如表不存在等問題，在這種情況下，如果語句還有其他錯誤， 就不能被審核出來了。如果當前語句沒有任何錯誤，則這個列值為NONE。對於執行及備份操作，因為對於一條語句，這樣的錯誤只會有一次，那么執行錯誤會在執行后面追加：“execute：具體 的執行錯誤原因”，如果是備份出錯，則在后面追加“backup：具體的錯誤原因”。在執行時，有時候還會出現Warning。
SQL	用來表示當前檢查的是那條SQL語句，這一列存儲的值就是這條SQL語句的文本內容。
affected_rows	審核時，用來表示當前語句預計影響的行數，這個行數一般是通過EXPLAIN來獲取的。在執行時，該列輸出的是執行時真實影響的行數。
sequence	該列與Inception備份功能有關，其實就是與$_$Inception_backup_information$_$表中的列opid_time一一對應，這就為自動化運維平台針對某一條語句做回滾操作找到了入口。
backup_dbname	該列表示的是當前語句產生的備份信息，存儲在備份服務器的那個數據庫中。如果是不需要備份的語句，則返回字符串NONE。
excute_time	該列表示當前語句的執行時間，單位是秒，精確到小數點后兩位。列類型是字符串。如果只是審核而不執行，則該列返回的值為0.
SQLSHA1	這一列用來存儲當前這條語句的一個HASH值，用來標識這個語句是否會使用OSC功能，如果返回信息中有值，則表示這條語句在執行時會使用OSC。

 

3.Inception 備份功能

Inception在做DML操作時，具有備份功能。它會將所有當前語句修改的行對應生成回滾語句並備份下來，同時也會將所有操作的任務備份下來，一起存儲到一個指定的庫中。

3.1 配置項中關於備份主要有4個參數

參數	說明
inception_remote_backup_host	指定遠程備份MySQL實例的地址。
inception_remote_backup_port	指定遠程備份MySQL實例的端口。
inception_remote_system_user	備份時，連接備份MySQL實例時所需的用戶名，這個用戶需要有相應的權限，一般包括Create、Insert和Select權限。
inception_remote_system_password	備份時，連接備份庫時所需要的用戶對於的密碼。

3.2 備份數據庫命名規則

因為線上機器有很多，而備份機器只有一台，所以為了防止在備份數據庫實例中存在庫名沖突的問題，備份機器的庫名是將線上機器IP地址的點換成下划線，再加上端口號及庫名。

例如：

169_169_167_167_3306_testDB.

3.3 備份庫上的表

主要有兩類，一種針對線上每一個表生產一個備份表，即與線上的表是一一對應的，表名相同，但是表結構不一樣。備份表主要用來存儲所有對表修改的回滾語句。

主要有以下3列：

列名	說明
id	標識列
rollback_statement	當某一行被修改后，生成的對應的回滾語句。因為Binlog必須為Row模式，所以，不管是什么語句，產生的回滾語句都是針對被修改的行記錄的。 如果一條語句的執行，影響了多行，那么這里就會有多條回滾語句。
opid_time	執行SQL語句時獲取的一個序列號。序列號由三部分組成：timestamp（int值，是語句執行的時間點）、線上服務器執行時所產生的thread_id及 當前這條語句在所有被執行語句塊中的一個序號。序列號在指定的備庫中是唯一的。針對同一條語句影響多行的情況、在產生的多行回滾語句中， 該列的值是相同的。

還有一類表，其實這個表每個庫中只有一個，$_$Inception_backup_information$_$。該表主要用來記錄所有對當前庫的操作，它是為該庫中所有表服務的，對線上這個庫的所有的表的操作，都會被存儲在這里面。

 

參數	說明
opid_time	該列與上面備份表中的列opid_time是一一對應的，因為這個表中的每一行對應的是在線上執行的實際的一條SQL語句。 opid_time從各個備份表中查找這條語句對應的回滾語句，是一對多的關系。
start_binlog_file	表示執行這條語句前Binlog所在的位置的文件名。這個值是通過 show master status 獲取的，在數據庫並發比較高的情況下， 這個值不一定准確。這個值只能是這條語句產生Binlog前面的某個位置。同理。下面三個位置信息也是一樣。
start_binlog_pos	該列與上面的列對應，表示的是上面指定文件的位置信息。
end_binlog_file	該列表示的是執行當前語句之后，Binlog所在的文件名。
end_binlog_pos	該列與上面的列對應，表示執行完成后，Binlog在文件end_binlog_file中的偏移位置。
sql_statement	該列存儲的是當前這個被執行的SQL語句。
host	表示在線上的哪個數據庫實例上執行了該語句。
dbname	表示執行當前語句時所處的環境變量，指的是數據庫名。
tablename	表示當前語句影響的表的表名，通過這個名字對應到備份表名。
port	與host對應，表示執行時數據庫的端口號。
time	表示當前語句的執行時間
type	表示操作類型，現在只支持INSERT、UPDATE、DDELETE、CREATEDB、CREATETABLE、ALTERTABLE、DROPTABLE等類型。

 

3.4線上庫表結構與備份庫表結構的對應關系如下圖：

 3.5 通過python腳本驗證

測試環境

類別	ServerIP	Port
線上數據庫	XXX.XXX.XXX.9	3306
Inception	XXX.XXX.XXX.8	6669
備份數據庫	XXX.XXX.XXX.9	3307

 測試python腳本

#!/usr/bin/python
#-*- coding:utf-8 -*-
import MySQLdb

sql='''/*--user=數據庫賬號;--password=相應密碼;--host=XXX.XXX.XXX.9;--execute=1;--port=3306;*/\
    inception_magic_start;\
    use dbtest;\
    CREATE TABLE table_test(id int comment 'test' primary key) engine=innodb DEFAULT CHARSET=utf8mb4 comment '測試';\
    inception_magic_commit;'''
try:
       conn=MySQLdb.connect(host='XXX.XXX.XXX.8',user='',passwd='',db='',port=6669)
       cur=conn.cursor()
       ret=cur.execute(sql)
       result=cur.fetchall()
       num_fields = len(cur.description)
       field_names = [i[0] for i in cur.description]
       print field_names
       for row in result:
                print row[0], "|",row[1],"|",row[2],"|",row[3],"|",row[4],"|",row[5],"|",row[6],"|",row[7],"|",row[8],"|",row[9],"|",row[10]
       cur.close()
       conn.close()
except MySQLdb.Error as e:
       print "Mysql Error %d: %s" % (e.args[0], e.args[1])

執行結果如下：

去備份庫上查看，備份情況如下：

3.6 備份所需的條件

如果在測試的過程中，發現沒有實現備份，可以從以下幾個方面去檢查

（1）線上服務器必須要打開Binlog，在啟動時需要設置參數log_bin、log_bin_index等關於Binlog的參數。不然不會備份及生成回滾語句，因為Inception的生成回滾語句是通過解析Binlog來做的。

 

（2）參數必須binlog_format必須設置為mixed或者row模式。如果是statement模式，則不做備份及回滾語句的生成。可通過語句set global binlog_format=ROW來設置。

（3）將binlog_row_image設置為full ，該配置項默認為 full ，但是如果為了減少binlog的size改成minimal的話，則Inception無法生成回滾語句。

（4）參數server_id必須設置為非0非1，通過語句set global server_id=server_id;來設置，不然在備份時報錯。因為在獲取Binlog時，需要通過server_id在主庫上注冊Inception。

（5）被修改表需要有主鍵：執行時，被影響的表如果沒有主鍵的話，就不會做備份了。這樣更簡單並且備份時間及數據都會少一點，不然回滾語句的where條件就會將所有列寫進去，這樣會影響性能且沒有太大意義，所以在where條件中，只需要主鍵即可。

（6）備份相關的四個參數需要設置好，並且對應的用戶在備份數據庫實例中有足夠的權限。

3.7 在進行驗證時可能遇到的錯誤。

1執行 Python驗證，報錯信息。

ImportError: No module named MySQLdb

解決方案：

yum install MySQL-python

 2.有時候執行Python腳本報錯：invalid source infomation。

這時候需要去檢查Inception連接數據庫的參數配置。

 4.Inception常見關於審核規范的變量參數

5.Inception統計功能

其數據存儲在備份實例上的inception數據庫上statistic表中，此庫自動生成。

主要字段的說明如下：

列名	字段描述
deleting	包括普通的刪除操作及多表刪除操作。
inserting	包括單行插入、多行插入及查詢插入。
updating	包括普通單表更新及多表的更新。
renaming	指的是ALTER table語句中的rename操作。
createindex	指的是ALTER table語句中的add index操作。
dropindex	指的是ALTER table語句中的drop index操作。
alteroption	指的是ALTER table語句中的修改表屬性的操作，比如存儲引擎、自增值及字符集中操作。
alterconvert	指的是ALTER table語句中修改表字符集的操作。

 

 

-----主要內容參考梳理於網絡知識和《MySQL運維內參》，此短文僅為學習筆記，在此原創作者感謝！