SOAR 簡介
SOAR，即 SQL Optimizer And Rewriter，是一款 SQL 智能優化與改寫工具，由小米運維 DBA 團隊出品
SOAR 體系架構
SOAR主要由語法解析器，集成環境，優化建議，重寫邏輯，工具集五大模塊組成。
語法解析和語法檢查
一條SQL從文件，標准輸入或命令行參數等形式傳遞給SOAR后首先進入語法解析器，選用了vitess的語法解析庫作為SOAR的語法解析庫，但隨時需求的不斷增加我們發現有些復雜需求使用vitess的語法解析實現起來比較邏輯比較復雜。於是參考業辦其他數據庫產品，於是引入了TiDB的語法解析器做為補充。后來發現這兩個解析庫還存在一定的盲區，於是又引入了MySQL執行返回結果作為多多版本SQL方言的補充。大家也可以看到在語法解析器這里，SOAR的實現方案是松散的、可插拔的。SOAR並不直接維護龐大的語法解析庫，它把各種優秀的語法解析庫集成在一起，各取所長。
集成環境
集成環境區分線上環境和測試環境兩種，分別用於解決不同場景下用戶的SQL優化需求。一種常見的情況是已有表結構需要優化查詢SQL的場景，可以從線上環境導出表結構和足夠的采樣數據到測試環境，在測試環境上就可以放心的執行各種高危操作而不用擔心數據被損壞。另一種常見的情況是建一套全新的數據庫，需要驗證提供的數據字典中是否存在優化的可能。對於這種情況，很有可能你不需要知道線上環境在哪兒，完全只是想先試試看，如果報錯了馬上改對就是了。當然還有更多種組合的場景需求，將在集成環境一單分類說明。
優化建議
目前SOAR可以提供的優化建議有基於啟發式規則(通常也稱之為經驗)的優化建議，基於索引優化算法給出的索引優化建議，以及基於EXPLAIN信息給出的解讀。
重寫邏輯
上面提到的優化建議是早期實現的主要功能，早期的功能還只是停留在建議上，對於一些初級用戶看到建議也不一定會改寫。為了進一步簡化SQL優化的成本，SOAR又進一步挖掘了自動SQL重寫的功能。現在提供幾十種常見場景下的SQL等價轉寫，不過相比SQL優化建議還有很大的改進空間。這部分的功能和邏輯將在重寫邏輯一章中詳細說明。
工具集
除了SQL優化和改寫以外，為了方便用戶使用以及美化輸出展現形式，SOAR還提供了一些輔助的小工具，比如markdown轉HTML工具，SQL格式化輸出工具等等。你可以在常用命令中找到這些小工具的使用方法。
SOAR 功能特點
SOAR的功能特點如下：
● 跨平台支持（支持Linux, Mac環境，Windows環境理論上也支持，不過未全面測試）
● 支持基於啟發式算法的語句優化
● 支持復雜查詢的多列索引優化（UPDATE, INSERT, DELETE, SELECT）
● 支持EXPLAIN信息豐富解讀
● 支持SQL指紋、壓縮和美化
● 支持同一張表多條ALTER請求合並
● 支持自定義規則的SQL改寫
此外，小米的SOAR與業內其他優秀產品對比，也有着非常大的優勢：
二進制安裝
wget https://github.com/XiaoMi/soar/releases/download/0.9.0/soar.linux-amd64 -O soar
chmod a+x soar
快速上手
安裝完成之后無需進行任何配置，只需要執行下面這條命令，就可以立刻生成一份Markdown格式的SQL評審報告，根據報告中的建議對SQL進行修改。
# ./soar -query "select * from tb;" 或 # echo "select * from tb;" | ./soar
使用配置
SOAR提供了豐富的配置參數，可以根據不同的使用場景指定不同的配置項來定制私有的評審建議。不過您也無須擔心這些配置會對使用帶來困擾，大部分配置選項是為有特殊需求用戶准備的，即使不做任何配置也能夠體驗到SOAR的基礎的功能。
SOAR的配置文件為YAML格式，在一般情況下只需要配置online-dsn, test-dsn, log-output等少數幾個參數，您就可以體驗到SOAR提供的絕大部分的功能了。
配置環境
由於很多的功能需要數據庫的元數據來進行輔助判斷，所以當不指定數據庫環境的時候，很多功能將會采取降級的策略，所以我們強烈建議您在配置文件中指定相關數據庫環境。為了保護線上數據庫的安全，我們將數據庫環境區分為線上和測試兩種環境，但是這並不意味着您一定需要兩個數據庫環境，但至少建議您指定一個測試環境。
這里需要注意的是，因為我們會在測試環境中做一些風險相對較高的操作，為了防止用戶由於配置疏忽導致線上數據受損，我們添加了allow-online-as-test參數來保證您確實是希望將線上環境做為測試環境來使用。所以當您指定的兩個集成環境相同時，請指定allow-online-as-test為true，否則SOAR將不會進行評審。
默認文件會按照/etc/soar.yaml, ./etc/soar.yaml, ./soar.yaml順序加載，找到第一個后不再繼續加載后面的配置文件。如需指定其他配置文件可以通過-config參數指定。 即使不創建配置文件SOAR仍然會給出基本的啟發式建議。
[root@mydb1 ~]# cat /etc/soar.yaml
# 線上環境配置
online-dsn:
addr: 127.0.0.1:3306
schema: mytest
user: dba_user
password: msds007
disable: false
# 測試環境配置
test-dsn:
addr: 127.0.0.1:3306
schema: test
user: dba_user
password: msds007
disable: false
# 是否允許測試環境與線上環境配置相同
allow-online-as-test: true
https://mp.weixin.qq.com/s/7sj2HnOQsNP_Zf_07C1FFQ?utm_medium=hao.caibaojian.com&utm_source=hao.caibaojian.com
https://www.bookstack.cn/books/SOAR-zh