在逝去的2016后半年，由於項目需要支持數據的快速更新和多用戶的高並發，我試水SQL Server 2016的In-Memory OLTP，創建內存數據庫實現項目的需求，現在項目接近尾聲，系統運行穩定，寫一篇博客，記錄一下使用內存數據庫的經驗。
從SQL Server 2016開始支持In-Memory OLTP，通俗地講，是內存數據庫，使用內存優化表（Memory-Optimized Table，簡稱MOT）來實現，MOT駐留在內存中。在查詢MOT時，只從內存中讀取數據行，不會產生Disk IO；在更新MOT時，數據的更新直接寫入到內存中。內存優化表能夠在硬盤上維護一個數據副本，該副本只用於持久化數據，不用於數據讀寫操作。只有在數據庫恢復時，數據庫引擎才會從該副本中讀取數據。
在內存數據庫中，不是所有的數據都需要存儲在內存中，有些數據仍然能夠存儲在Disk上，硬盤表（Disk-Based Table，簡稱DBT）是傳統的表存儲結構，每個Page是8KB，在查詢和更新DBT時，產生Disk IO操作，將數據從Disk讀取到內存，或者將數據更新異步寫入到Disk中。
內存數據庫將原本存儲在Disk上的數據，存儲在內存中，利用內存的高速訪問優勢實現數據的快速查詢和更新，但是，內存數據庫，不僅僅是存儲空間的變化，內存數據庫引擎實現本地編譯模塊（Natively compiled）、交叉事務（Cross-Container Transaction）和查詢互操作（Query Interop）：
- 本地編譯模塊：如果代碼模塊只訪問MOT，那么可以將該模塊定義為本地編譯模塊，SQL Server直接將TSQL腳本編譯成機器代碼；SQL Server 2016支持本地編譯的模式有：存儲過程（SP），觸發器（Trigger），標量值函數（Scalar Function）或內嵌多語句函數（Inline Multi-Statement Function）。相比於解釋性（Interpreted）TSQL 模塊，機器代碼直接使用內存地址，性能更高。
- 交叉事務：在解釋性TSQL模塊中，一個事務既能訪問硬盤表，也能訪問內存優化表；實際上，SQL Server創建了兩個事務，一個事務用於訪問硬盤表，一個事務用於訪問內存優化表，在DMV中，分別使用transaction_id 和 xtp_transaction_id 來標識。
- 查詢互操作：解釋性TSQL腳本能夠訪問內存優化表和硬盤表，本地編譯模塊只能訪問內存優化表。
內存數據被整合到SQL Server關系引擎中，使用內存數據庫時，客戶端應用程序甚至感受不到任何變化，DAL接口也不需要做任何修改。由於Query Interop的存在，任何解釋性TSQL腳本都能透明地訪問MOT，只是性能沒有本地編譯TSQL腳本性能高。在使用分布式事務訪問MOT時，必須設置合適的事務隔離級別，推薦使用Read Committed，如果發生MSSQLSERVER_41333 錯誤，說明產生交叉事務隔離錯誤（CROSS_CONTAINER_ISOLATION_FAILURE），原因是當前事務的隔離級別太高。
一，創建內存數據庫
內存優化表的數據必須存儲在包含Memory_Optimized_Data的File Group中，該FileGroup可以有多個File，每個File實際上是Folder，一個DB只能創建一個包含Memory_Optimized_Data的File Group。
step1，創建一個數據庫，創建的Data File的數量最好和CPU內核數量保持一致，存放在不同的物理磁盤上；
use master go --Create database create database Test_MemboryDB on Primary ( name=Test_MemoryDB_1, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_1.mdf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_2, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_2.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_3, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_3.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_4, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_4.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_5, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_5.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_6, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_6.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_7, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_7.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_8, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_8.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_9, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_9.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_10, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_10.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_11, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_11.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_12, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_12.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_13, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_13.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_14, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_14.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_15, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_15.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_16, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_16.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_17, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_17.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_18, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_18.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_19, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_19.ndf', size=5GB, FileGrowth=1GB ), ( name=Test_MemoryDB_20, filename='D:\Program Files\Microsoft SQL Server\Test_MemoryDB_20.ndf', size=5GB, FileGrowth=1GB ) LOG ON ( name = N'Test_MemboryDB_log', filename = N'D:\Program Files\Microsoft SQL Server\Test_MemboryDB_log.ldf' , size = 10GB , filegrowth = 1GB ) GO
step2，為數據庫創建一個包含內存優化數據的FileGroup，向該FileGroup中添加“File”，實際上是目錄（Directory），用於存儲內存優化數據文件，主要是CheckPoint文件，用於還原持久化的內存優化表。
-- Add File Group from memory-optimized data alter database [Test_MemboryDB] add filegroup fg_MemoryOptimizedData contains MEMORY_OPTIMIZED_DATA; alter database [Test_MemboryDB] add file ( name=Test_MemboryDBDirectory, filename='D:\Program Files\Microsoft SQL Server\Test_MemboryDBDirectory' ) to FILEGROUP fg_MemoryOptimizedData;
文件組屬性：CONTAINS MEMORY_OPTIMIZED_DATA 子句，指定File Group用於存儲內存優化表數據，每個數據庫只能指定一個存儲內存優化數據的File Group，可以在該File Group下創建多個Directory，分布在不同的物理Disk上，加快內存優化表數據還原的速度。
二，創建內存優化表
內存優化表用於存儲用戶數據，可以持久化存儲，數據存儲在內存中，同時，在Disk上維護數據的一個副本，通過選項 DURABILITY= SCHEMA_AND_DATA 指定持久化存儲內存優化表；也可以只存儲在內存中，通過選項DURABILITY= SCHEMA_ONLY指定。在內存優化表上，可以創建nonclustered index 或nonclustered hash index，每個內存優化表中至少創建一個Index。
--create memory optimized table create table [dbo].[products] ( [ProductID] [bigint] not null, [Name] [varchar](64) not null, [Price] decimal(10,2) not null, [Unit] varchar(16) not null, [Description] [varchar](max) null, constraint [PK__Products_ProductID] primary key nonclustered hash ([ProductID])with (bucket_count=2000000) ,index idx_Products_Price nonclustered([Price] desc) ,index idx_Products_Unit nonclustered hash(Unit) with(bucket_count=40000) ) with(memory_optimized=on,durability= schema_and_data) go
1，內存優化：MEMORY_OPTIMIZED
[MEMORY_OPTIMIZED = {ON | OFF}]
默認值是OFF，指定創建的表是硬盤表；設置選項MEMORY_OPTIMIZED為ON，指定創建的表是內存優化表；
2，持久性：Durability
DURABILITY = {SCHEMA_ONLY | SCHEMA_AND_DATA}
默認值是SCHEMA_AND_DATA，指定創建的內存優化表是持久化的，這意味着，數據更新會持久化存儲到Disk上，在SQL Server重啟之后，內存優化表的數據能跟根據存儲在Disk上的副本還原。選項 SCHEMA_ONLY 指定創建的內存優化表是非持久化的，這意味着Table Schema是持久化存儲到Disk上，但是，任何數據更新都不會持久化到Disk上，在SQL Server重啟之后，內存優化表的數據會丟失。
3，哈希索引和范圍索引
內存優化表支持Hash Index，屬性 BUCKET_COUNT 指定為Hash Index創建的bucket的數量，一般hash bucket的數量是數據行的1-2倍，如果無法估計bucket的數量，請創建范圍索引（NonClustered Index），索引結構是Bw-Tree。
Hash 索引由一個數組和多個數據行鏈組成，每一個數組元素叫做一個Hash Bucket，通過內置的Hash函數，將Hash索引的Key映射到Hash Bucket上，例如，如果Hash Index的Key是(Col1,Col2)，根據HashFunction(Col1,Col2)返回的Hash Value，將數據行映射到指定的Hash Bucket上；如果多個Key映射到同一個Hash Bucket上，那么這些Key組成一個鏈。例如：數據表結構是(Name,City)，在Name字段上創建Hash Index，Hash值相同的數據行鏈接成一個單向鏈。
三，創建Natively Compiled SP
本地編譯SP在創建時編譯成機器代碼，整個SP以原子方式執行，這意味着，以SP為單位，整個SP中的所有操作是一個原子操作，要么執行成功，要么執行失敗。
create procedure dbo.usp_GetProduct @ProductID bigint not null with native_compilation, schemabinding, execute as owner as begin atomic with (transaction isolation level = snapshot, language = N'US_English') select [ProductID] ,[Name] ,[Price] ,[Unit] ,[Description] from [dbo].[Products] where ProductID=@ProductID end go
1，在本地編譯SP中，能夠為參數，變量指定Nullability屬性，默認值是NULL
NOT NULL 屬性：不能為參數或變量指定NULL值，
- 在本便編譯SP中，為參數指定NOT NULL屬性，不能為參數指定NULL值；
- 在本便編譯SP中，為變量定義NOT NULL屬性，必須在Declare時初始化變量；
2，本地編譯SP必須包含兩個選項：SCHEMABINDING 和 ATOMIC Block
- SCHEMABINDING：綁定引用的內存優化表
- ATOMIC Block：在原子塊中的所有語句，以單個事務運行；在事務成功時，所有語句都提交成功；在事務失敗時，所有語句都回滾。Atomic Bloc保證原子地執行SP，如果SP在其他事務的上下文中被調用，那么該SP開始一個新的事務。
- Atomic blocks guarantee atomic execution of the stored procedure. If the procedure is invoked outside the context of an active transaction, it will start a new transaction, which commits at the end of the atomic block.
使用Atomic Block必須設置兩個選項：
- TRANSACTION ISOLATION LEVEL：指定Atomic Block開啟事務的隔離級別，通常指定Snapshot隔離級別；
- LANGUAGE：指定SP上下文的語言；
3，解釋型SP和本地編譯SP的區別
解釋性SP能夠訪問硬盤表（Disk-Based Table）和內存優化表（Memory-Optimized Table），其真正的區別是解釋性（Interpreted）SP在第一次執行時編譯，而本地編譯（Natively Compiled）SP是在創建時編譯，並且直接編譯成機器代碼，綁定的是內存地址。
4，延遲持久化
在本地編譯SP中，設置Atoic Block的選項：DELAYED_DURABILITY = ON ，使SP對內存優化表的更新操作，以異步寫事務日志方式，延遲持久化到Disk，這意味着，如果內存優化表維護了一個Disk-Based 的副本，數據在內存中修改之后，不會立即更新到Disk-Based 的副本中，這有丟失數據的可能性，但是能夠減少Disk IO，提高數據更新的性能。
四，使用內存優化的表變量和臨時表
傳統的表變量和臨時表，都使用tempdb存儲臨時數據，而tempdb不是內存數據庫，使用Disk存儲臨時表和表變量的數據，會產生Disk IO和競爭，SQL Server提供了內存優化的表變量，將臨時數據存儲在內存中，詳細信息，請參考我的博客：《In-Memory：在內存中創建臨時表和表變量》。
五，內存數據庫的事務處理
交叉事務是指在一個事務中，解釋性TSQL語句同時訪問內存優化表（Memory-Optimized Table，簡稱MOT）和硬盤表（Disk-Based Table，簡稱DBT）。在交叉事務中，訪問MOT的操作和訪問DBT的操作都擁有自己獨立的事務序號，就像在一個大的交叉事務下，存在兩個單獨的子事務，分別用於訪問MOT和DBT；在sys.dm_db_xtp_transactions (Transact-SQL)中，訪問DBT的事務使用transaction_id標識，訪問MOT的事務序號使用xtp_transaction_id標識。詳細信息，請參考我的博客：《In-Memory：內存優化表的事務處理》
參考文檔：