一、mysql的體系結構
整個MysqlServer有一下幾部分組成
- Connection Pool : 連接池組件
- Management Services & Utilities : 管理服務和工具組件
- SQL Interface : SQL接口組件
- Parser : 查詢分析器組件
- Optimizer : 優化器組件
- Caches & Buffers : 緩沖池組件
- Pluggable Storage Engines : 存儲引擎
- File System : 文件系統
(1)連接層
最上層是一些客戶端和鏈接服務,包含本地sock 通信和大多數基於客戶端/服務端工具實現的類似於 TCP/IP的通信。主要完成一些類似於連接處理、授權認證、及相關的安全方案。在該層上引入了線程池的概念,為通過認證安全接入的客戶端提供線程。同樣在該層上可以實現基於SSL的安全鏈接。服務器也會為安全接入的每個客戶端驗證它所具有的操作權限。
(2)服務層
第二層架構主要完成大多數的核心服務功能,如SQL接口,並完成緩存的查詢,SQL的分析和優化,部分內置函數的執行。所有跨存儲引擎的功能也在這一層實現,如 過程、函數等。在該層,服務器會解析查詢並創建相應的內部解析樹,並對其完成相應的優化如確定表的查詢的順序,是否利用索引等, 最后生成相應的執行操作。如果是select語句,服務器還會查詢內部的緩存,如果緩存空間足夠大,這樣在解決大量讀操作的環境中能夠很好的提升系統的性能。
(3)引擎層
存儲引擎層, 存儲引擎真正的負責了MySQL中數據的存儲和提取,服務器通過API和存儲引擎進行通信。不同的存儲引擎具有不同的功能,這樣我們可以根據自己的需要,來選取合適的存儲引擎。
(4)存儲層
數據存儲層, 主要是將數據存儲在文件系統之上,並完成與存儲引擎的交互。和其他數據庫相比,MySQL有點與眾不同,它的架構可以在多種不同場景中應用並發揮良好作用。主要體現在存儲引擎上,插件式的存儲引擎架構,將查詢處理和其他的系統任務以及數據的存儲提取分離。這種架構可以根據業務的需求和實際需要選擇合適的存儲引擎。
二、存儲引擎
2.1、概述
和大多數的數據庫不同, MySQL中有一個存儲引擎的概念, 針對不同的存儲需求可以選擇最優的存儲引擎。存儲引擎就是存儲數據,建立索引,更新查詢數據等等技術的實現方式 。存儲引擎是基於表的,而不是基於庫的。所以存儲引擎也可被稱為表類型。插件是存儲引擎是MySQL數據庫最重要的特性之一。
MySQL5.7支持的存儲引擎包含 : InnoDB 、MyISAM 、BDB、MEMORY、MERGE、EXAMPLE、NDB Cluster、ARCHIVE、CSV、BLACKHOLE、FEDERATED等,其中InnoDB和BDB提供事務安全表,其他存儲引擎是非事務安全表。Mysql5.5之前的默認存儲引擎是MyISAM,5.5之后改為InnoDB。
查看MySQL數據庫默認的存儲引擎:
show variables like '%default_storage_engine%'
要修改默認的存儲引擎可以在配置文件中設置default_storage_engine
2.2、各種常用存儲引擎的特性
特點 | InnoDB | MyISAM | MEMORY | MERGE | NDB |
---|---|---|---|---|---|
存儲限制 | 64TB | 有 | 有 | 沒有 | 有 |
事務安全 | 支持 | ||||
鎖機制 | 行鎖(適合高並發) | 表鎖 | 表鎖 | 表鎖 | 行鎖 |
B樹索引 | 支持 | 支持 | 支持 | 支持 | 支持 |
哈希索引 | 支持 | ||||
全文索引 | 支持(5.6版本之后) | 支持 | |||
集群索引 | 支持 | ||||
數據索引 | 支持 | 支持 | 支持 | ||
索引緩存 | 支持 | 支持 | 支持 | 支持 | 支持 |
數據可壓縮 | 支持 | ||||
空間使用 | 高 | 低 | N/A | 低 | 低 |
內存使用 | 高 | 低 | 中等 | 低 | 高 |
批量插入速度 | 低 | 高 | 高 | 高 | 高 |
支持外鍵 | 支持 |
2.3、MyISAM存儲引擎
MyISAM是mysql5.5之前的默認存儲引擎,MyISAM既不支持事務,也不支持外鍵,每個MyISAM在磁盤上存儲成3個文件,其文件名都和表名相同,但拓展名分別是 :
- .frm(存儲表定義)
- .MYD(MYData,存儲數據);
- .MYI(MYIndex,存儲索引)
數據文件和索引文件可以放置在不同的目錄,平均分布IO,獲得更快的速度。
MyISAM的表還支持3種不同的存儲格式
- 靜態表(固定長度)表(默認的存儲格式)
- 動態表
- 壓縮表
2.4、InnoDB存儲引擎
InnoDb是MySQL5.5之后的默認存儲引擎,提供了具有提交,回滾和崩潰恢復能力的事務安全保障,同時提供了更小的鎖粒度和更強的並發能力,擁有自己獨立的緩存和日志。但是對比MyISAM的存儲引擎,InnoDB寫的處理效率差一些,並且會占用更多的磁盤空間以保留數據和索引。
-
InnoDB的自動增長列
- 對於InnoDB表,自動增長列必須被索引,如果是組合索引,也必須是組合索引的第一列。
- 自動增長默認是從1開始,可以通過' alter table table_name auto_increment = n'語句強制設置自動增長列的初始值。
- 在mysql8.0以前對於InnoDB引擎來說自動增長值是保存在內存中的,如果數據庫重新啟動,name這個值就會丟失,數據庫會自動將auto_increment重置為自增列當前存儲的最大值+1
- 可以通過LAST_INSERT_ID()查詢當前線程最后插入記錄的值,如果一次插入多條記錄,那么返回的是第一條記錄使用的自動增長值,但是如果人為指定自增列的值,LAST_INSERT_ID()的值不會更新。
-
InnoDB引擎存在事務
-
InnoDB的外鍵約束
MySQL支持外鍵的存儲引擎只有InnoDB , 在創建外鍵的時候, 要求父表必須有對應的索引 (一般關聯主表的主鍵,因為主鍵非空且唯一)。
--如下兩張表,子表(city_innodb)的country_id為外鍵,關聯主表(country_innodb)的的country_id字段,並且設置了外鍵之間的級聯關系
create table country_innodb(
country_id int NOT NULL AUTO_INCREMENT,
country_name varchar(100) NOT NULL,
primary key(country_id)
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
create table city_innodb(
city_id int NOT NULL AUTO_INCREMENT,
city_name varchar(50) NOT NULL,
country_id int NOT NULL,
primary key(city_id),
key idx_fk_country_id(country_id),
CONSTRAINT `fk_city_country` FOREIGN KEY(country_id) REFERENCES country_innodb(country_id) ON DELETE RESTRICT ON UPDATE CASCADE
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
在創建索引時, 可以指定在刪除、更新父表時,對子表進行的相應操作,包括 RESTRICT、CASCADE、SET NULL 和 NO ACTION。
- NO ACTION和RESTRICT:是指限制在子表有關聯記錄的情況下, 父表不能更新;
- CASCADE:父表在更新或者刪除時,更新或者刪除子表對應的記錄;
- SET NULL:表示父表在更新或者刪除的時候,子表的對應字段被SET NULL 。
針對上面創建的兩個表, 子表的外鍵指定是ON DELETE RESTRICT ON UPDATE CASCADE 方式的, 那么在主表刪除記錄的時候, 如果子表有對應記錄, 則不允許刪除, 主表在更新記錄的時候, 如果子表有對應記錄, 則子表對應更新 。
刪除主表數據:不允許修改主表數據
跟新主表數據:子表更新
-
InnoDB主鍵和索引
InnoDB的數據文件本身就是以聚簇索引的形式保存,這個聚簇索引也被成為主索引(主鍵),InnoDb的每行數據都保存在主索引的葉子節點上,所以InnoDB表必須存在索引,沒有索引會自動創建一個長度為6個字節的long類型的隱藏字段作為索引,除了主鍵外的索引都叫輔助索引或者二級索引,他們會指向主索引,並通過主索引獲取最終的數據。
-
InnoDB的存儲方式
InnoDB存儲表和索引有以下兩種方式
- 使用共享表空間存儲, 這種方式創建的表的表結構保存在.frm文件中, 數據和索引保存在 innodb_data_home_dir 和 innodb_data_file_path定義的表空間中,可以是多個文件。
- 使用多表空間存儲, 這種方式創建的表的表結構仍然存在 .frm 文件中,但是每個表的數據和索引單獨保存在 .ibd 中。如果是分區表,則每個分區表對應單獨的.ibd文件,文件名是‘表名+分區名’
要設置多表空間的存儲方式,需要設置參數'innodb_file_per_table'為on(5.7默認也是多表空間的存儲方式)
2.5、MEMORY存儲引擎
Memory存儲引擎將表的數據存放在內存中。每個MEMORY表實際對應一個磁盤文件,格式是.frm ,該文件中只存儲表的結構,而其數據文件,都是存儲在內存中,這樣有利於數據的快速處理,提高整個表的效率。MEMORY 類型的表訪問非常地快,因為他的數據是存放在內存中的,並且默認使用HASH索引 , 但是服務一旦關閉,表中的數據就會丟失。
2.6、MERGE存儲引擎
MERGE存儲引擎是一組MyISAM表的組合,這些MyISAM表必須結構完全相同,MERGE表本身並沒有存儲數據,對MERGE類型的表可以進行查詢、更新、刪除操作,這些操作實際上是對內部的MyISAM表進行的。
對於MERGE類型表的插入操作,是通過INSERT_METHOD子句定義插入的表,可以有3個不同的值,使用FIRST 或 LAST 值使得插入操作被相應地作用在第一或者最后一個表上,不定義這個子句或者定義為NO,表示不能對這個MERGE表執行插入操作。
可以對MERGE表進行DROP操作,但是這個操作只是刪除MERGE表的定義,對內部的表是沒有任何影響的。
MERGE表在磁盤上保留兩個文件,文件名以表的名字開始,一個.frm文件存儲表定義,另一個.MRG文件包含組合表的信息。
Merge存儲示例,創建3個測試表 order_1990, order_1991, order_all , 其中order_all是前兩個表的MERGE表 :
create table order_1990(
order_id int ,
order_money double(10,2),
order_address varchar(50),
primary key (order_id)
)engine = myisam default charset=utf8;
create table order_1991(
order_id int ,
order_money double(10,2),
order_address varchar(50),
primary key (order_id)
)engine = myisam default charset=utf8;
-- 前邊兩張表的merge表
create table order_all(
order_id int ,
order_money double(10,2),
order_address varchar(50),
primary key (order_id)
)engine = merge union = (order_1990,order_1991)
-- 表示向merge表插入數據時,插入到最后一個表上
INSERT_METHOD=LAST default charset=utf8;
-- 向order_1990表插入兩條數據
insert into order_1990 values(1,100.0,'北京');
insert into order_1990 values(2,100.0,'上海');
-- 向order_1991插入兩條數據
insert into order_1991 values(10,200.0,'北京');
insert into order_1991 values(11,200.0,'上海');
查詢兩張表的數據
往order_all中插入一條記錄 ,由於在MERGE表定義時,INSERT_METHOD 選擇的是LAST,那么插入的數據會想最后一張表中插入。
insert into order_all values(100,10000.0,'西安');
再次查詢兩張表,order_1990表中沒有添加數據
order_1991成功的條加了一條數據
查看merge表(order_all),order_all就上兩張表的總和,在創建表的是狗通過union = (order_1990,order_1991) 指定組合的MyISAM表
三、存儲引擎的選擇
在選擇存儲引擎時,應該根據應用系統的特點選擇合適的存儲引擎。對於復雜的應用系統,還可以根據實際情況選擇多種存儲引擎進行組合。以下是幾種常用的存儲引擎的使用環境。
- InnoDB : 是Mysql的默認存儲引擎,用於事務處理應用程序,支持外鍵。如果應用對事務的完整性有比較高的要求,在並發條件下要求數據的一致性,數據操作除了插入和查詢意外,還包含很多的更新、刪除操作,那么InnoDB存儲引擎是比較合適的選擇。InnoDB存儲引擎除了有效的降低由於刪除和更新導致的鎖定, 還可以確保事務的完整提交和回滾,對於類似於計費系統或者財務系統等對數據准確性要求比較高的系統,InnoDB是最合適的選擇。
- MyISAM : 如果應用是以讀操作和插入操作為主,只有很少的更新和刪除操作,並且對事務的完整性、並發性要求不是很高,那么選擇這個存儲引擎是非常合適的。
- MEMORY:將所有數據保存在RAM中,在需要快速定位記錄和其他類似數據環境下,可以提供幾塊的訪問。MEMORY的缺陷就是對表的大小有限制,太大的表無法緩存在內存中,其次是要確保表的數據可以恢復,數據庫異常終止后表中的數據是可以恢復的。MEMORY表通常用於更新不太頻繁的小表,用以快速得到訪問結果。
- MERGE:用於將一系列等同的MyISAM表以邏輯方式組合在一起,並作為一個對象引用他們。MERGE表的優點在於可以突破對單個MyISAM表的大小限制,並且通過將不同的表分布在多個磁盤上,可以有效的改善MERGE表的訪問效率。這對於存儲諸如數據倉儲等VLDB環境十分合適。