MySQL運行原理與基礎架構細說
1.MySQL基礎
MySQL是一個開放源代碼的關系數據庫管理系統。原開發者為瑞典的MySQL AB公司，最早是在2001年MySQL3.23進入到管理員的視野並在之后獲得廣泛的應用。 2008年MySQL公司被Sun公司收購並發布了首個收購之后的版本MySQL5.1，該版本引入分區、基於行復制以及plugin API。移除了原有的BerkeyDB引擎，同時，Oracle收購InnoDB Oy發布了InnoDB plugin，這后來發展成為著名的InnoDB引擎。2010年Oracle收購Sun公司，這也使得MySQL歸入Oracle門下，之后Oracle發布了收購以后的首個版本5.5，該版本主要改善集中在性能、擴展性、復制、分區以及對windows的支持。目前版本已發展到5.7。
和其它數據庫相比，MySQL有點與眾不同，它的架構可以在多種不同場景中應用並發揮良好作用。主要體現在存儲引擎的架構上，插件式的存儲引擎架構將查詢處理和其它的系統任務以及數據的存儲提取相分離。這種架構可以根據業務的需求和實際需要選擇合適的存儲引擎。
2.MySQL邏輯架構
上面的圖就是mysql的內部架構，可以清楚的看到Mysql是由連接池Connection Pool，SQL接口，解析器，優化器，緩存，存儲引擎組成的。
關於上述部件的介紹：
1.Connectors
與客戶端工具和其他編程語言中的sql 語句進行交互，如php、java等。
2. Management Serveices & Utilities
系統管理和控制工具
3. Connection Pool (連接池)
管理緩沖用戶連接，線程處理等需要緩存的需求，主要完成一些類似於連接處理、授權認證、及相關的安全方案，為通過認證安全接入的客戶端提供線程。同樣在該層上可以實現基於SSL的安全鏈接。
4. SQL Interface (SQL接口)
接受用戶的SQL命令，並且返回用戶需要查詢的結果。比如select from就是調用SQL Interface
5. Parser （解析器）
SQL命令傳遞到解析器的時候會被解析器驗證和解析。
主要功能：
a . 將SQL語句分解成數據結構，並將這個結構傳遞到后續步驟，后面SQL語句的傳遞和處理就是基於這個結構的
b. 如果在分解構成中遇到錯誤，那么就說明這個sql語句是不合理的，語句將不會繼續執行下去
6. Optimizer (查詢優化器，可以利用explain語法查詢SQL語句的執行計划)
SQL語句在查詢之前會使用查詢優化器對查詢進行優化(產生多種執行計划,最終數據庫會選擇最優化的方案去執行,盡快返會結果) 他使用的是“選取-投影-聯接”策略進行查詢。
用一個例子就可以理解： select uid,name from user where gender = 1;
這個select 查詢先根據where 語句進行選取，而不是先將表全部查詢出來以后再進行gender過濾
這個select查詢先根據uid和name進行屬性投影，而不是將屬性全部取出以后再進行過濾
將這兩個查詢條件聯接起來生成最終查詢結果.
7. Cache和Buffer (查詢緩存)
如果查詢緩存有命中的查詢結果，查詢語句就可以直接去查詢緩存中取數據。
這個緩存機制是由一系列小緩存組成的。比如表緩存，記錄緩存，key緩存，權限緩存等
8.Engine (存儲引擎)
存儲引擎是MySql中具體的與文件打交道的子系統。也是Mysql最具有特色的一個地方。
Mysql的存儲引擎是插件式的。它根據MySql AB公司提供的文件訪問層的一個抽象接口來定制一種文件訪問機制（這種文件訪問機制就叫存儲引擎）
MySQL邏輯架構整體分為三層：
1.最上層是一些客戶端和連接服務，包含本地sock通信和大多數基於客戶端/服務端工具實現的類似於tcp/ip的通信。主要完成一些類似於連接處理、授權認證、及相關的安全方案。在該層上引入了線程池的概念，為通過認證安全接入的客戶端提供線程。同樣在該層上可以實現基於SSL的安全鏈接。服務器也會為安全接入的每個客戶端驗證它所具有的操作權限。
2.第二層架構主要完成大多少的核心服務功能，如SQL接口，並完成緩存的查詢，SQL的分析和優化及部分內置函數的執行。所有跨存儲引擎的功能也在這一層實現，如過程、函數等。在該層，服務器會解析查詢並創建相應的內部解析樹，並對其完成相應的優化如確定查詢表的順序，是否利用索引等，最后生成相應的執行操作。如果是select語句，服務器還會查詢內部的緩存。如果緩存空間足夠大，這樣在解決大量讀操作的環境中能夠很好的提升系統的性能。
3.存儲引擎層，存儲引擎真正的負責了MySQL中數據的存儲和提取，服務器通過API與存儲引擎進行通信。不同的存儲引擎具有的功能不同，這樣我們可以根據自己的實際需要進行選取。
3、SQL 語句執行過程
數據庫通常不會被直接使用，而是由其他編程語言通過SQL語句調用mysql，由mysql處理並返回執行結果。那么Mysql接受到SQL語句后，又是如何處理的呢？
首先程序的請求會通過mysql的connectors與其進行交互，請求到處后，會暫時存放在連接池（connection pool)中並由處理器（Management Serveices & Utilities）管理。當該請求從等待隊列進入到處理隊列，管理器會將該請求丟給SQL接口（SQL Interface）。SQL接口接收到請求后，它會將請求進行hash處理並與緩存中的結果進行對比，如果完全匹配則通過緩存直接返回處理結果；否則，需要完整的走一趟流程：
(1)由SQL接口丟給后面的解釋器（Parser），上面已經說到，解釋器會判斷SQL語句正確與否，若正確則將其轉化為數據結構。
(2)解釋器處理完，便來到后面的優化器（Optimizer），它會產生多種執行計划,最終數據庫會選擇最優化的方案去執行,盡快返會結果。
(3)確定最優執行計划后，SQL語句此時便可以交由存儲引擎（Engine）處理，存儲引擎將會到后端的存儲設備中取得相應的數據，並原路返回給程序。
Sql語句執行過程圖解：
4.並發控制和鎖的概念
當數據庫中有多個操作需要修改同一數據時，不可避免的會產生數據的臟讀。這時就需要數據庫具有良好的並發控制能力，這一切在MySQL中都是由服務器和存儲引擎來實現的。
解決並發問題最有效的方案是引入了鎖的機制，鎖在功能上分為共享鎖(shared lock)和排它鎖(exclusive lock)即通常說的讀鎖和寫鎖。當一個select語句在執行時可以施加讀鎖，這樣就可以允許其它的select操作進行，因為在這個過程中數據信息是不會被改變的這樣就能夠提高數據庫的運行效率。當需要對數據更新時，就需要施加寫鎖了，不在允許其它的操作進行，以免產生數據的臟讀和幻讀。鎖同樣有粒度大小，有表級鎖(table lock)和行級鎖(row lock)，分別在數據操作的過程中完成行的鎖定和表的鎖定。這些根據不同的存儲引擎所具有的特性也是不一樣的。
MySQL大多數事務型的存儲引擎都不是簡單的行級鎖，基於性能的考慮，他們一般都同時實現了多版本並發控制(MVCC)。這一方案也被Oracle等主流的關系數據庫采用。它是通過保存數據中某個時間點的快照來實現的，這樣就保證了每個事務看到的數據都是一致的。詳細的實現原理可以參考《高性能MySQL》第三版。
5.事務
1.簡單的說事務就是一組原子性的SQL語句。可以將這組語句理解成一個工作單元，要么全部執行要么都不執行。在MySQL中可以使用如下命令操作事務：
| 1 2 3 4 5 |
start transaction; select ... update ... insert ... commit; |
注意：默認MySQL中自動提交是開啟的：
2.事務具有ACID的特性：
原子性(atomicity):事務中的所有操作要么全部提交成功，要么全部失敗回滾。
一致性(consistency):數據庫總是從一個一致性狀態轉換到另一個一致性狀態。
隔離性(isolation):一個事務所做的修改在提交之前對其它事務是不可見的。
持久性(durability):一旦事務提交，其所做的修改便會永久保存在數據庫中。
3.事務的隔離級別：在SQL標准中定義了四種隔離級別：
READ UNCOMMITTED(讀未提交)：事務中的修改即使未提交也是對其它事務可見
READ COMMITTED(讀提交)：事務提交后所做的修改才會被另一個事務看見，可能產生一個事務中兩次查詢的結果不同。
REPEATABLE READ(可重讀)：只有當前事務提交才能看見另一個事務的修改結果。解決了一個事務中兩次查詢的結果不同的問題。
SERIALIZABLE(串行化)：只有一個事務提交之后才會執行另一個事務。
4.MySQL中可以利用如下語句查詢並臨時修改隔離級別：
5.死鎖：兩個或多個事務在同一資源上相互占用並請求鎖定對方占用的資源，從而導致惡性循環的現象。MySQL的部分存儲引擎能夠檢測到死鎖的循環依賴並產生相應的錯誤。InnoDB引擎解決死鎖的方案是將持有最少排它鎖的事務進行回滾。
5.MySQL存儲引擎及應用方案
1.MySQL采用插件式的存儲引擎架構，可以根據不同的需求為不同的表設置不同的存儲引擎。可以通過如下命令顯示數據庫中表的狀態信息，以user表為例，顯示如下：
Name：顯示的是表名
Engine：顯示存儲引擎，該表存儲引擎為MyISAM
Row_format：顯示行格式，對於MyISAM有Dynamic、Fixed和Compressed三種。分別表示表中有可變的數據類型，表中數據類型為固定的，以及表是壓縮表的環境。
Rows：顯示表中行數
Avg_row_length：平均行長度（字節）
Data_length：數據長度（字節）
Max_data_length：最大存儲數據長度（字節）
Data_free：已分配但未使用的空間，包括刪除數據空余出來的空間
Auto_increment：下一個插入行自動增長字段的值
Create_time：表的創建時間
Update_time：表數據的最后修改時間
Collation：表的默認字符集及排序規則
Checksum：如果啟用，表示整個表的實時校驗和
Create_options：創建表示的一些其它選項
Comment：額外的一些注釋信息，根據存儲引擎的不同表示的內容也不脛相同。
2.存儲引擎介紹：
InnoDB引擎：
1.將數據存儲在表空間中，表空間由一系列的數據文件組成，由InnoDB管理；
2.支持每個表的數據和索引存放在單獨文件中(innodb_file_per_table)；
3.支持事務，采用MVCC來控制並發，並實現標准的4個事務隔離級別，支持外鍵；
4.索引基於聚簇索引建立，對於主鍵查詢有較高性能；
5.數據文件的平台無關性，支持數據在不同的架構平台移植；
6.能夠通過一些工具支持真正的熱備。如XtraBackup等；
7.內部進行自身優化如采取可預測性預讀，能夠自動在內存中創建hash索引等。
MyISAM引擎：
1.MySQL5.1中默認，不支持事務和行級鎖；
2.提供大量特性如全文索引、空間函數、壓縮、延遲更新等；
3.數據庫故障后，安全恢復性差；
4.對於只讀數據可以忍受故障恢復，MyISAM依然非常適用；
5.日志服務器的場景也比較適用，只需插入和數據讀取操作；
6.不支持單表一個文件，會將所有的數據和索引內容分別存在兩個文件中；
7.MyISAM對整張表加鎖而不是對行，所以不適用寫操作比較多的場景；
8.支持索引緩存不支持數據緩存。
Archive引擎：
1.只支持insert和select操作；
2.緩存所有的寫數據並進行壓縮存儲，支持行級鎖但不支持事務；
3.適合高速插入和數據壓縮，減少IO操作，適用於日志記錄和歸檔服務器。
Blackhole引擎：
1.沒有實現任何存儲機制，會將插入的數據進行丟棄，但會存儲二進制日志；
2.會在一些特殊需要的復制架構的環境中使用。
CSV引擎：
1.可以打開CSV文件存儲的數據，可以將存儲的數據導出，並利用excel打開；
2.可以作為一種數據交換的機制，同樣經常使用。
Memory引擎：
1.將數據在內存中緩存，不消耗IO；
2.存儲數據速度較快但不會被保留，一般作為臨時表的存儲被使用。
Federated引擎：
能夠訪問遠程服務器上的數據的存儲引擎。能夠建立一個連接連到遠程服務器。
Mrg_MyISAM引擎：
將多個MYISAM表合並為一個。本身並不存儲數據，數據存在MyISAM表中間。
NDB集群引擎：
MySQL Cluster專用。
3.第三方存儲引擎：
1.OLTP類：
XtraDB：InnoDB的改進版本。
PBXT：類似InnoDB，但提供引擎級別的復制和外鍵約束，適當支持SSD存儲。
TokuDB(開源)：支持分形樹索引結構，支持海量數據的分析。
2.列式存儲引擎：MySQL默認是面向行的存儲
Infobright: 支持數十TB的數據量，為數據分析和數據倉庫設計的。數據高度壓縮。
InfiniDB:可以在一組集群間做分布式查詢，有商業版但沒有典型應用案例。
3.社區存儲引擎：
Aria：解決MyISAM崩潰安全恢復問題，並能夠進行數據緩存。
Groona: 全文索引引擎。
QQGraph: 由Open query研發支持圖操作，比如查找兩點間最短距離。
SphinxSE: 該引擎為Sphinx全文索引搜索服務器提供SQL接口。
Spider: 支持sharding並能夠基於分片實現並列查詢。
VPForMySQL: 支持垂直分區。
4.存儲引擎選取參考因素
1.是否有事務需求
如果需要事務支持最好選擇InnoDB或者XtraDB，如果主要是select和insert操作MyISAM比較合適，一般使用日志型的應用。
2.備份操作需求
如果能夠關閉服務器進行備份，那么該因素可以忽略，如果需要在線進行熱備份，則InnoDB引擎是一個不錯的選擇。
3.故障恢復需求
在對恢復要求比較好的場景中推薦使用InnoDB，因為MyISAM數據損壞概率比較大而且恢復速度比較慢。
4.性能上的需求
有些業務需求只有某些特定的存儲引擎才能夠滿足，如地理空間索引也只有MyISAM引擎支持。所以在應用架構需求環境中也需要管理員折衷考慮，當然從各方面比較而言，InnoDB引擎還是默認應該被推薦使用的。
5.表引擎轉換方法
1.直接修改
2.備份修改
利用mysqldump備份工具將數據導出，修改create table語句中的存儲引擎選項。注意修改的同時修改表名。
3.創建插入