高性能MySQL學習筆記(1) —— MySQL架構

原創 2016年09月02日 11:20:02

MySQL架構

1.MySQL邏輯架構：

這里寫圖片描述
這里分為三層：
1.連接層：連接與線程處理，這一層並不是MySQL獨有，一般的基於C/S架構的都有類似組件，比如連接處理、授權認證、安全等。
2.SQL處理層：也叫MySQL服務器層，包括緩存查詢、解析器、優化器，這一部分是MySQL核心功能，包括解析、優化SQL語句，查詢緩存目錄，內置函數（日期、時間、加密等函數）的實現
3.數據存儲層：也叫存儲引擎層，負責數據存儲，存儲引擎的不同，存儲方式、數據格式、提取方式等都不相同，這一部分也是很大影響數據存儲與提取的性能的。但是，與分層的思想一致，SQL處理層是通過API與存儲引擎通信的，API屏蔽了下層的差異，下層提供對外接口，上層負責調用即可，不必清楚下層是怎么實現的。

客戶端說明：MySQL是基於C/S架構的，這里的客戶端自然是專門的，能訪問到MySQL服務器的，主要有這么幾類，操作客戶端：單純的操作MySQL服務器中的數據（這里數據包括庫、表、索引、表中數據等），比如常用的native、phpMyAdmin、Sequal Pro等；應用客戶端：應用程序通過程序訪問數據庫，比如JDBC、ODBC、PHP程序、python程序等。不管是哪種，其實最后都轉換為SQL語句訪問MySQL。

1.連接層

　　當MySQL啟動（MySQL服務器就是一個進程），等待客戶端連接，每一個客戶端連接請求，服務器都會新建一個線程處理（如果是線程池的話，則是分配一個空的線程），每個線程獨立，擁有各自的內存處理空間，但是，如果這個請求只是查詢，沒關系，但是若是修改數據，很顯然，當兩個線程修改同一塊內存是會引發數據同步問題的。
>連接處理流程

這里寫圖片描述

　　連接到服務器，服務器需要對其進行驗證，也就是用戶名、IP、密碼驗證，一旦連接成功，還要驗證是否具有執行某個特定查詢的權限（例如，是否允許客戶端對某個數據庫某個表的某個操作）。
>認證流程

這里寫圖片描述

2.SQL處理層

　　這一層主要功能有：SQL語句的解析、優化，緩存的查詢，MySQL內置函數的實現，跨存儲引擎功能（所謂跨存儲引擎就是說每個引擎都需提供的功能（引擎需對外提供接口）），例如：存儲過程、觸發器、視圖等。

>執行過程：

這里寫圖片描述
（圖中的查詢並不是一定是select語句，在MySQL中，一般習慣把每一條SQL命令稱為query（查詢））

1.如果是查詢語句（select語句），首先會查詢緩存是否已有相應結果，有則返回結果，無則進行下一步（如果不是查詢語句，同樣調到下一步）；
2.解析查詢，創建一個內部數據結構（解析樹），這個解析樹主要用來SQL語句的語義與語法解析；詳情可查看：MySQL解析器。
3.優化：優化SQL語句，例如重寫查詢，決定表的讀取順序，以及選擇需要的索引等。這一階段用戶是可以查詢的，查詢服務器優化器是如何進行優化的，便於用戶重構查詢和修改相關配置，達到最優化。這一階段還涉及到存儲引擎，優化器會詢問存儲引擎，比如某個操作的開銷信息、是否對特定索引有查詢優化等。詳情可查看：MySQL優化器。

3.存儲引擎

　　存儲引擎，也稱為表類型，主要用來存儲數據的，不同的存儲引擎采用不同的技術（存儲機制、索引機制、鎖定機制）存儲數據，這主要是為了滿足數據存儲要求，比如有的數據不需要大量的改動，只用來查詢，而有的數據則需要常常修改（數據插入、刪除、更新），針對各種業務情況，為了更好的數據處理效率采用不同的數據存儲技術（即不同存儲引擎）。
　　MySQL的存儲引擎是插件式的，也就是說，用戶可以隨時切換MySQL的存儲引擎：針對表或針對庫都可（通過SQL語句命令）。這種靈活性也是為什么MySQL受到歡迎的一個重要原因。MySQL集合了多種引擎：MyISAM、InnoDB、BDB、Merge、Memory等，默認的是InnoDB（MySQL5.5開始，以前是MyISAM）。

2.MySQL物理組件

這里寫圖片描述

以下主要參考文章：MySQL架構（guisu）。
以上組件是對邏輯架構的實現：
1.Management Services & Utilities
　　服務管理和控制組件，主要用來回滾操作、恢復數據、數據的復制、遷移、元數據的管理等。
2.Connection Pool：連接池
　　連接池，對應邏輯架構的連接層，主要用來管理用戶連接，包括監聽、接收客戶端請求，轉發請求到相應的線程管理模塊（該模塊負責維護這些線程，包括創建、線程cache，可有線程池實現），還有連接的權限認證工作。
3.SQL Interface：SQL接口
　　各種SQL接口，用來接收管理SQL命令，比如DML、DDL操作，存儲過程，視圖，觸發器等。
4.Parser：解析器
　　SQL命令傳遞到解析器的時候會被解析器驗證和解析。解析器是由Lex和YACC實現的，是一個很長的腳本。
主要功能：
　　a . 將SQL語句進行語義和語法的分析，分解成數據結構，然后按照不同的操作類型進行分類，然后做出針對性的轉發到后續步驟，以后SQL語句的傳遞和處理就是基於這個結構的。
　　b. 如果在分解構成中遇到錯誤，那么就說明這個sql語句是不合理的。
5.Optimizer: 查詢優化器
　　優化SQL語句，比如常量轉換與計算、無效代碼排除、AND/OR等等優化。查詢優化器必要的時候還會詢問存儲引擎，計算語句執行消耗，從而得出最優策略去執行該SQL命令。
6.Cache & Buffer：查詢緩存
　　他的主要功能是將客戶端提交給MySQL 的 Select 類 query 請求的返回結果集 cache 到內存中，與該 query 的一個 hash 值做一個對應。該 Query 所取數據的基表發生任何數據的變化之后， MySQL 會自動使該 query 的Cache 失效。在讀寫比例非常高的應用系統中， Query Cache 對性能的提高是非常顯著的。當然它對內存的消耗也是非常大的。
　　如果查詢緩存有命中的查詢結果，查詢語句就可以直接去查詢緩存中取數據。這個緩存機制是由一系列小緩存組成的。比如表緩存，記錄緩存，key緩存，權限緩存等
7.存儲引擎
　　目前只有MySQL實現了插件式多存儲引擎（加了一層抽象層對接下面的存儲數據層），其他數據庫基本上使用單一的存儲引擎。MySQL的存儲引擎是基於表的，每個表可選擇自己需要的存儲引擎。