數據庫-數據庫系統原理

數據庫-數據庫系統原理

 

　　　　落花人獨立，微雨燕雙飛。

 

簡介：數據庫-數據庫系統原理。

一、事務

概念

事務指的是滿足 ACID 特性的一組操作，可以通過 Commit 提交一個事務，也可以使用 Rollback 進行回滾。

ACID

1. 原子性（Atomicity）

事務被視為不可分割的最小單元，事務的所有操作要么全部提交成功，要么全部失敗回滾。

回滾可以用回滾日志（Undo Log）來實現，回滾日志記錄着事務所執行的修改操作，在回滾時反向執行這些修改操作即可。

2. 一致性（Consistency）

數據庫在事務執行前后都保持一致性狀態。在一致性狀態下，所有事務對同一個數據的讀取結果都是相同的。

3. 隔離性（Isolation）

一個事務所做的修改在最終提交以前，對其它事務是不可見的。

4. 持久性（Durability）

一旦事務提交，則其所做的修改將會永遠保存到數據庫中。即使系統發生崩潰，事務執行的結果也不能丟失。

系統發生崩潰可以用重做日志（Redo Log）進行恢復，從而實現持久性。與回滾日志記錄數據的邏輯修改不同，重做日志記錄的是數據頁的物理修改。

事務的 ACID 特性概念簡單，但不是很好理解，主要是因為這幾個特性不是一種平級關系：

• 只有滿足一致性，事務的執行結果才是正確的。
• 在無並發的情況下，事務串行執行，隔離性一定能夠滿足。此時只要能滿足原子性，就一定能滿足一致性。
• 在並發的情況下，多個事務並行執行，事務不僅要滿足原子性，還需要滿足隔離性，才能滿足一致性。
• 事務滿足持久化是為了能應對系統崩潰的情況。

AUTOCOMMIT

MySQL 默認采用自動提交模式。也就是說，如果不顯式使用 START TRANSACTION 語句來開始一個事務，那么每個查詢操作都會被當做一個事務並自動提交。

二、並發一致性問題

在並發環境下，事務的隔離性很難保證，因此會出現很多並發一致性問題。

丟失修改

丟失修改指一個事務的更新操作被另外一個事務的更新操作替換。一般在現實生活中常會遇到，例如：T₁ 和 T₂ 兩個事務都對一個數據進行修改，T₁ 先修改並提交生效，T₂ 隨后修改，T₂ 的修改覆蓋了 T₁ 的修改。

讀臟數據

讀臟數據指在不同的事務下，當前事務可以讀到另外事務未提交的數據。例如：T₁ 修改一個數據但未提交，T₂ 隨后讀取這個數據。如果 T₁ 撤銷了這次修改，那么 T₂ 讀取的數據是臟數據。

不可重復讀

不可重復讀指在一個事務內多次讀取同一數據集合。在這一事務還未結束前，另一事務也訪問了該同一數據集合並做了修改，由於第二個事務的修改，第一次事務的兩次讀取的數據可能不一致。例如：T₂ 讀取一個數據，T₁ 對該數據做了修改。如果 T₂ 再次讀取這個數據，此時讀取的結果和第一次讀取的結果不同。

幻影讀

幻讀本質上也屬於不可重復讀的情況，T₁ 讀取某個范圍的數據，T₂ 在這個范圍內插入新的數據，T₁ 再次讀取這個范圍的數據，此時讀取的結果和和第一次讀取的結果不同。

產生並發不一致性問題的主要原因是破壞了事務的隔離性，解決方法是通過並發控制來保證隔離性。並發控制可以通過封鎖來實現，但是封鎖操作需要用戶自己控制，相當復雜。數據庫管理系統提供了事務的隔離級別，讓用戶以一種更輕松的方式處理並發一致性問題。

三、封鎖

封鎖粒度

MySQL 中提供了兩種封鎖粒度：行級鎖以及表級鎖。

應該盡量只鎖定需要修改的那部分數據，而不是所有的資源。鎖定的數據量越少，發生鎖爭用的可能就越小，系統的並發程度就越高。

但是加鎖需要消耗資源，鎖的各種操作（包括獲取鎖、釋放鎖、以及檢查鎖狀態）都會增加系統開銷。因此封鎖粒度越小，系統開銷就越大。

在選擇封鎖粒度時，需要在鎖開銷和並發程度之間做一個權衡。

封鎖類型

1. 讀寫鎖

• 互斥鎖（Exclusive），簡寫為 X 鎖，又稱寫鎖。
• 共享鎖（Shared），簡寫為 S 鎖，又稱讀鎖。

有以下兩個規定：

• 一個事務對數據對象 A 加了 X 鎖，就可以對 A 進行讀取和更新。加鎖期間其它事務不能對 A 加任何鎖。
• 一個事務對數據對象 A 加了 S 鎖，可以對 A 進行讀取操作，但是不能進行更新操作。加鎖期間其它事務能對 A 加 S 鎖，但是不能加 X 鎖。

2. 意向鎖

使用意向鎖（Intention Locks）可以更容易地支持多粒度封鎖。

在存在行級鎖和表級鎖的情況下，事務 T 想要對表 A 加 X 鎖，就需要先檢測是否有其它事務對表 A 或者表 A 中的任意一行加了鎖，那么就需要對表 A 的每一行都檢測一次，這是非常耗時的。

意向鎖在原來的 X/S 鎖之上引入了 IX/IS，IX/IS 都是表鎖，用來表示一個事務想要在表中的某個數據行上加 X 鎖或 S 鎖。有以下兩個規定：

• 一個事務在獲得某個數據行對象的 S 鎖之前，必須先獲得表的 IS 鎖或者更強的鎖；
• 一個事務在獲得某個數據行對象的 X 鎖之前，必須先獲得表的 IX 鎖。

通過引入意向鎖，事務 T 想要對表 A 加 X 鎖，只需要先檢測是否有其它事務對表 A 加了 X/IX/S/IS 鎖，如果加了就表示有其它事務正在使用這個表或者表中某一行的鎖，因此事務 T 加 X 鎖失敗。

封鎖協議

1. 三級封鎖協議

一級封鎖協議

事務 T 要修改數據 A 時必須加 X 鎖，直到 T 結束才釋放鎖。

可以解決丟失修改問題，因為不能同時有兩個事務對同一個數據進行修改，那么事務的修改就不會被覆蓋。 

二級封鎖協議

在一級的基礎上，要求讀取數據 A 時必須加 S 鎖，讀取完馬上釋放 S 鎖。

可以解決讀臟數據問題，因為如果一個事務在對數據 A 進行修改，根據 1 級封鎖協議，會加 X 鎖，那么就不能再加 S 鎖了，也就是不會讀入數據。

三級封鎖協議

在二級的基礎上，要求讀取數據 A 時必須加 S 鎖，直到事務結束了才能釋放 S 鎖。

可以解決不可重復讀的問題，因為讀 A 時，其它事務不能對 A 加 X 鎖，從而避免了在讀的期間數據發生改變。

2. 兩段鎖協議

加鎖和解鎖分為兩個階段進行。

可串行化調度是指，通過並發控制，使得並發執行的事務結果與某個串行執行的事務結果相同。串行執行的事務互不干擾，不會出現並發一致性問題。

事務遵循兩段鎖協議是保證可串行化調度的充分條件。例如以下操作滿足兩段鎖協議，它是可串行化調度。

lock-x(A)...lock-s(B)...lock-s(C)...unlock(A)...unlock(C)...unlock(B)

但不是必要條件，例如以下操作不滿足兩段鎖協議，但它還是可串行化調度。

lock-x(A)...unlock(A)...lock-s(B)...unlock(B)...lock-s(C)...unlock(C)

MySQL 隱式與顯式鎖定

MySQL 的 InnoDB 存儲引擎采用兩段鎖協議，會根據隔離級別在需要的時候自動加鎖，並且所有的鎖都是在同一時刻被釋放，這被稱為隱式鎖定。

InnoDB 也可以使用特定的語句進行顯示鎖定：

SELECT ... LOCK In SHARE MODE; 2 SELECT ... FOR UPDATE;

四、隔離級別

未提交讀（READ UNCOMMITTED）

事務中的修改，即使沒有提交，對其它事務也是可見的。

提交讀（READ COMMITTED）

一個事務只能讀取已經提交的事務所做的修改。換句話說，一個事務所做的修改在提交之前對其它事務是不可見的。

可重復讀（REPEATABLE READ）

保證在同一個事務中多次讀取同一數據的結果是一樣的，可重復讀為 Mysql 默認隔離級別。

可串行化（SERIALIZABLE）

強制事務串行執行，這樣多個事務互不干擾，不會出現並發一致性問題。

該隔離級別需要加鎖實現，因為要使用加鎖機制保證同一時間只有一個事務執行，也就是保證事務串行執行。 

五、多版本並發控制

多版本並發控制（Multi-Version Concurrency Control, MVCC）是 MySQL 的 InnoDB 存儲引擎實現隔離級別的一種具體方式，用於實現提交讀和可重復讀這兩種隔離級別。

提交讀隔離級別總是讀取最新的數據行，要求很低，無需使用 MVCC。

可串行化隔離級別需要對所有讀取的行都加鎖，單純使用 MVCC 無法實現。

基本思想

在封鎖一節中提到，加鎖能解決多個事務同時執行時出現的並發一致性問題。在實際場景中讀操作往往多於寫操作，因此又引入了讀寫鎖來避免不必要的加鎖操作，例如讀和讀沒有互斥關系。讀寫鎖中讀和寫操作仍然是互斥的，而 MVCC 利用了多版本的思想，寫操作更新最新的版本快照，而讀操作去讀舊版本快照，沒有互斥關系，這一點和 CopyOnWrite 類似。 

在 MVCC 中事務的修改操作（DELETE、INSERT、UPDATE）會為數據行新增一個版本快照。

臟讀和不可重復讀最根本的原因是事務讀取到其它事務未提交的修改。在事務進行讀取操作時，為了解決臟讀和不可重復讀問題，MVCC 規定只能讀取已經提交的快照。當然一個事務可以讀取自身未提交的快照，這不算是臟讀。 

版本號

• 系統版本號 SYS_ID：是一個遞增的數字，每開始一個新的事務，系統版本號就會自動遞增。
• 事務版本號 TRX_ID ：事務開始時的系統版本號。

Undo 日志

MVCC 的多版本指的是多個版本的快照，快照存儲在 Undo 日志中，該日志通過回滾指針 ROLL_PTR 把一個數據行的所有快照連接起來。

例如在 MySQL 創建一個表 t，包含主鍵 id 和一個字段 x。我們先插入一個數據行，然后對該數據行執行兩次更新操作。

INSERT INTO t(id, x) VALUES(1, "a"); 2 UPDATE t SET x="b" WHERE id=1; 3 UPDATE t SET x="c" WHERE id=1;

因為沒有使用 START TRANSACTION 將上面的操作當成一個事務來執行，根據 MySQL 的 AUTOCOMMIT 機制，每個操作都會被當成一個事務來執行，所以上面的操作總共涉及到三個事務。快照中除了記錄事務版本號 TRX_ID 和操作之外，還記錄了一個 bit 的 DEL 字段，用於標記是否被刪除。

INSERT、UPDATE、DELETE 操作會創建一個日志，並將事務版本號 TRX_ID 寫入。DELETE 可以看成是一個特殊的 UPDATE，還會額外將 DEL 字段設置為 1。

ReadView

MVCC 維護了一個 ReadView 結構，主要包含了當前系統未提交的事務列表 TRX_IDs {TRX_ID_1, TRX_ID_2, ...}，還有該列表的最小值 TRX_ID_MIN 和 最大值 TRX_ID_MAX。

在進行 SELECT 操作時，根據數據行快照的 TRX_ID 與 TRX_ID_MIN 和 TRX_ID_MAX 之間的關系，從而判斷數據行快照是否可以使用：

• TRX_ID < TRX_ID_MIN，表示該數據行快照時在當前所有未提交事務之前進行更改的，因此可以使用。

• TRX_ID > TRX_ID_MAX，表示該數據行快照是在事務啟動之后被更改的，因此不可使用。

• TRX_ID_MIN <= TRX_ID <= TRX_ID_MAX，需要根據隔離級別再進行判斷：

  • 提交讀：如果 TRX_ID 在 TRX_IDs 列表中，表示該數據行快照對應的事務還未提交，則該快照不可使用。否則表示已經提交，可以使用。
  • 可重復讀：都不可以使用。因為如果可以使用的話，那么其它事務也可以讀到這個數據行快照並進行修改，那么當前事務再去讀這個數據行得到的值就會發生改變，也就是出現了不可重復讀問題。

在數據行快照不可使用的情況下，需要沿着 Undo Log 的回滾指針 ROLL_PTR 找到下一個快照，再進行上面的判斷。

快照讀與當前讀

1. 快照讀

MVCC 的 SELECT 操作是快照中的數據，不需要進行加鎖操作。

SELECT * FROM table ...;

2. 當前讀

MVCC 其它會對數據庫進行修改的操作（INSERT、UPDATE、DELETE）需要進行加鎖操作，從而讀取最新的數據。可以看到 MVCC 並不是完全不用加鎖，而只是避免了 SELECT 的加鎖操作。

INSERT; 2 UPDATE; 3 DELETE;

在進行 SELECT 操作時，可以強制指定進行加鎖操作。以下第一個語句需要加 S 鎖，第二個需要加 X 鎖。

SELECT * FROM table WHERE ? lock in share mode; 2 SELECT * FROM table WHERE ? for update;

六、Next-Key Locks

Next-Key Locks 是 MySQL 的 InnoDB 存儲引擎的一種鎖實現。

MVCC 不能解決幻影讀問題，Next-Key Locks 就是為了解決這個問題而存在的。在可重復讀（REPEATABLE READ）隔離級別下，使用 MVCC + Next-Key Locks 可以解決幻讀問題。

Record Locks

鎖定一個記錄上的索引，而不是記錄本身。

如果表沒有設置索引，InnoDB 會自動在主鍵上創建隱藏的聚簇索引，因此 Record Locks 依然可以使用。

Gap Locks

鎖定索引之間的間隙，但是不包含索引本身。例如當一個事務執行以下語句，其它事務就不能在 t.c 中插入 15。

SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;

Next-Key Locks

它是 Record Locks 和 Gap Locks 的結合，不僅鎖定一個記錄上的索引，也鎖定索引之間的間隙。它鎖定一個前開后閉區間，例如一個索引包含以下值：10, 11, 13, and 20，那么就需要鎖定以下區間：

(-∞, 10] 2 (10, 11] 3 (11, 13] 4 (13, 20] 5 (20, +∞)

七、關系數據庫設計理論

函數依賴

記 A->B 表示 A 函數決定 B，也可以說 B 函數依賴於 A。

如果 {A1，A2，... ，An} 是關系的一個或多個屬性的集合，該集合函數決定了關系的其它所有屬性並且是最小的，那么該集合就稱為鍵碼。

對於 A->B，如果能找到 A 的真子集 A'，使得 A'-> B，那么 A->B 就是部分函數依賴，否則就是完全函數依賴。

對於 A->B，B->C，則 A->C 是一個傳遞函數依賴。

異常

以下的學生課程關系的函數依賴為 {Sno, Cname} -> {Sname, Sdept, Mname, Grade}，鍵碼為 {Sno, Cname}。也就是說，確定學生和課程之后，就能確定其它信息。

Sno	Sname	Sdept	Mname	Cname	Grade
1	學生-1	學院-1	院長-1	課程-1	90
2	學生-2	學院-2	院長-2	課程-2	80
2	學生-2	學院-2	院長-2	課程-1	100
3	學生-3	學院-2	院長-2	課程-2	95

不符合范式的關系，會產生很多異常，主要有以下四種異常：

• 冗余數據：例如 學生-2 出現了兩次。
• 修改異常：修改了一個記錄中的信息，但是另一個記錄中相同的信息卻沒有被修改。
• 刪除異常：刪除一個信息，那么也會丟失其它信息。例如刪除了 課程-1 需要刪除第一行和第三行，那么 學生-1 的信息就會丟失。
• 插入異常：例如想要插入一個學生的信息，如果這個學生還沒選課，那么就無法插入。

范式

范式理論是為了解決以上提到四種異常。

高級別范式的依賴於低級別的范式，1NF 是最低級別的范式。

1. 第一范式 (1NF)

屬性不可分，即要求數據庫表的每一列都是不可分割的原子數據項。

2. 第二范式 (2NF)

每個非主屬性完全函數依賴於鍵碼，即確保數據庫表中的每一列都和主鍵相關，而不能只與主鍵的某一部分相關。

可以通過分解來滿足。

分解前

 

Sno	Sname	Sdept	Mname	Cname	Grade
1	學生-1	學院-1	院長-1	課程-1	90
2	學生-2	學院-2	院長-2	課程-2	80
2	學生-2	學院-2	院長-2	課程-1	100
3	學生-3	學院-2	院長-2	課程-2	95

以上學生課程關系中，{Sno, Cname} 為鍵碼，有如下函數依賴：

• Sno -> Sname, Sdept
• Sdept -> Mname
• Sno, Cname-> Grade

Grade 完全函數依賴於鍵碼，它沒有任何冗余數據，每個學生的每門課都有特定的成績。

Sname, Sdept 和 Mname 都部分依賴於鍵碼，當一個學生選修了多門課時，這些數據就會出現多次，造成大量冗余數據。

分解后

關系-1

Sno	Sname	Sdept	Mname
1	學生-1	學院-1	院長-1
2	學生-2	學院-2	院長-2
3	學生-3	學院-2	院長-2

有以下函數依賴：

• Sno -> Sname, Sdept
• Sdept -> Mname

關系-2

Sno	Cname	Grade
1	課程-1	90
2	課程-2	80
2	課程-1	100
3	課程-2	95

有以下函數依賴：

• Sno, Cname -> Grade 

3. 第三范式 (3NF)

非主屬性不傳遞函數依賴於鍵碼，即確保數據表中的每一列數據都和主鍵直接相關，而不能間接相關。

上面的 關系-1 中存在以下傳遞函數依賴：

• Sno -> Sdept -> Mname

可以進行以下分解：

關系-11

Sno	Sname	Sdept
1	學生-1	學院-1
2	學生-2	學院-2
3	學生-3	學院-2

關系-12

Sdept	Mname
學院-1	院長-1
學院-2	院長-2

八、ER 圖

Entity-Relationship，有三個組成部分：實體、屬性、聯系。

用來進行關系型數據庫系統的概念設計。

 

 

 

 

落花人獨立

微雨燕雙飛