筆者曾做過數據庫 Data Type 相關的設計和從 0 到 1 的源碼實現，對 Numeric（與 Decimal 等價，都是標准 SQL 的一部分）, Datetime, Timestamp, varchar … 等數據類型的設計、源碼實現及在內存中計算原理有比較深的理解。
本篇基於 PostgreSQL 源碼，解析 PostgreSQL 中 Numeric 類型的內存計算結構和磁盤存儲結構。
c 源碼 ：https://github.com/postgres/postgres/blob/master/src/backend/utils/adt/numeric.c
頭文件：https://github.com/postgres/postgres/blob/master/src/include/utils/numeric.h
精度的要求
在編程的過程中，大家可能對內置的 4 字節 float 和 8 字節 doulbe 類型比較熟悉，進行加減乘除運算。雖然浮點數是通過科學計數法來存儲，但在二進制和十進制互相轉換機制中，對一部分二進制數，其精度是有缺失的。
對於類似金融場景，動輒存儲巨大的數值，以及對數據精度的高要求，哪怕再小的精度損失都是不可接受的。市面上各式各樣的數據庫基本都包含 Numeric 類型，通過字符串來精確存儲每一位數，做到浮點數都做不到的精確計算。
Numeric 語法簡介
NUMERIC(precision, scale)
-
precision：numeric 中全部數字個數的總和
-
scale：小數點后面的數字個數
例如：12.345，那么 precision 是 5、scale 是 3。
注意事項：
-
所有的整數都可以看成 scale 為 0 的 numeric；
-
precision 必須為正數，scale 可以為 0 或者正數；
-
numeric(precision) 語法，默認的 scale 是 0；
-
語法中不帶任何參數，則任意 precision 和 scale 的值都可以被存儲，只要不超過 precision 的最大值；
-
只要 numeric 中聲明了 scale，則輸入的值都要強制的去匹配這個 scale（即進行 round 操作，round 為四舍五入）；
-
如果輸入的 scale 數值溢出，則報錯。
不指定精度的情況時各數值類型的取值范圍【常見】：
Numeric 特殊值
除了正常的數值之外，numeric 還支持特殊的值：NaN（ meaning "not-a-number"）。當要將其當做常量用於 SQL 中時，需要打上引號，例如：
UPDATE table SET x = 'NaN'
SQL 中 Numeric 數據流向
我們知道，一條 SQL 在數據庫中的執行流程大致為：
CREATE TABLE test (
name VARCHAR(100) NOT NULL,
price NUMERIC(5,2)
);
INSERT INTO test (name, price)
VALUES ('Phone',500.215),
('Tablet',500.214);
以上述示例兩條 SQL 為例，先建一張 test 表，並插入數據。這里我們關注寫入的 Numeric 數字在內存中是如何表示，定義的 NUMERIC(5,2) 對應的數據結構在內存中如何表示。寫入的數據在落入磁盤之后，其存儲結構又是什么樣的。
這里，數據在內存中的存儲結構和落盤時的存儲結構是不一樣的，最終落盤時需要去掉內存中所占用的無效字節的。比如，varchar(100)，假如在內存中分配 100 個字節，而實際只寫入 “abc” 三個字節，那么它所分配的內存是 100 個字節，而落盤時沒有用到的 97 個字節是要去掉的，最后 3 個字節寫入磁盤時，還要做數據壓縮。大家可以設想一下，如果內存中的存儲結構不做任何處理直接寫入到磁盤，如果數據量非常大，那會多浪費磁盤空間！
Numeric 磁盤存儲結構解析
結構體 NumericData 是最終落到磁盤上的結構，如下，可以看到 NumericData 包含了 NumericLong 和 NumericShort 的 union 字段：
struct NumericLong
{
uint16 n_sign_dscale; /* Sign + display scale */
int16 n_weight; /* Weight of 1st digit */
NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};
struct NumericShort
{
uint16 n_header; /* Sign + display scale + weight */
NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};
union NumericChoice
{
uint16 n_header; /* Header word */
struct NumericLong n_long; /* Long form (4-byte header) */
struct NumericShort n_short; /* Short form (2-byte header) */
};
struct NumericData
{
int32 vl_len_; /* varlena header (do not touch directly!) */
union NumericChoice choice; /* choice of format */
};
結構體 NumericLong
struct NumericLong
{
uint16 n_sign_dscale; /* Sign + display scale */
int16 n_weight; /* Weight of 1st digit */
NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};
**uint16 n_sign_dscale **：第一個字節中高兩位 bit 用於保存正負號。
若為 0x0000：則符號位正
若為 0x4000：則符號位負
若為 0xC000：則為 NaN
剩余的 14 個 bit 用來保存 display scale（終端界面可顯示的范圍）
int16 n_weight ：保存權值。這里要解釋下權值在這里的含義。在這里 numeric 是用一組 int16 數組表示的，每一個元素用 int16 表示 4 位數字，也就是最大保存 9999。那么基數 base 值就是 10000。這里的權值的 base 值就是 10000（10 進制的權值 base 值是 10，二進制是 2）。
**NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER] **：動態數組（也有叫柔性數組的，在這里統一稱動態數組吧），是 C99 之后添加的一個特性。這個特性是在這個結構體中，動態數組並不占用任何空間，其長度由 NumericData 中的 vl_len_ 決定。
這里看到有 long 和 short 兩個結構體，對於早期的 PostgreSQL 版本，使用的是 long 的存儲方式，后面進行了優化，改進成 short 的存儲方式，改進之后的版本為了保持向前兼容，能依然讀取之前版本存儲的數據，保留了 long 類型的存儲方式。
結構體 NumericShort
struct NumericShort
{
uint16 n_header; /* Sign + display scale + weight */
NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER]; /* Digits */
};
uint16 n_header ：保存符號、dynamic scale和權值的信息。
若為 0xC000 則意味着該 Numeric 為 NaN
剩余的 14 個 bit 中，1 個用來保存符號，6 個保存 dynamic scale，7 個用來保存權值 weight。
**NumericDigit n_data[FLEXIBLE_ARRAY_MEMBER] **：參考上文柔性數組描述。
聯合體 NumericChoice
union NumericChoice
{
uint16 n_header; /* Header word */
struct NumericLong n_long; /* Long form (4-byte header) */
struct NumericShort n_short; /* Short form (2-byte header) */
};
uint16 n_header ：這個占兩個字節的變量包含有很多信息。如果 n_header 第一個字節最高兩個 bit 位的值為：
0x8000：則采用 NumericShort 存儲格式
0xC000：則為 NaN
除此之外，則采用 NumericLong 存儲格式。
結構體 NumericData
struct NumericData
{
int32 vl_len_; /* varlena header (do not touch directly!) */
union NumericChoice choice; /* choice of format */
};
int32 vl_len_ ：用來保存動態數組的長度，這個數組是 NumericLong 或者 NumericShort 結構體中定義的動態數組。
Numeric 內存計算結構解析
typedef struct NumericVar
{
int ndigits; /* # of digits in digits[] - can be 0! */
int weight; /* weight of first digit */
int sign; /* NUMERIC_POS, NUMERIC_NEG, or NUMERIC_NAN */
int dscale; /* display scale */
NumericDigit *buf; /* start of palloc'd space for digits[] */
NumericDigit *digits; /* base-NBASE digits */
} NumericVar;
NumericVar 是用來做算術運算的格式，在 digit-array 部分同存儲格式一樣，但是在 header 部分更復雜。下面分別作分析：
-
buf：指向實際為 NumericVar 申請的內存 start 位置
-
digits：指向實際使用時的第一個數字的位置（這里的元素是 int16，非 0）
- buf 跟 digts 之間一般預留一到兩個元素（int16）作為可能的 carry（進位）用，當然，考慮到實際 numeric 中 leading 部分可能有好多 0，意味着 buf 跟 digits 之間可以相隔好多個元素
-
dscale：display scale 的縮寫，表示 numeric 小數點后有多少個十進制數
- 就目前的版本，總是 >= 0，dscale 的值可能比實際存儲的小數位數要大，這意味多出來的部分是 0（trailing zeros），同時也意味着在寫入磁盤時，是不會把無意義的 0 寫進去的（節約磁盤空間）
-
rscale：這里提一個在函數計算時用到的變量，result scale 的縮寫，保存目標計算結果的精度，總是 >= 0
- rscale 並不保存在 NumericVar 中，實際值是根據輸入的 dscales 確定的
-
sign：標記正負號或者 NAN
-
weight：權值，權值是進制的（位數 -1）冪
- 比如 9999 9999 9999.9999，占用三個 int16，權值是 2（原理跟 10 進制權值一樣的算法，只是 int16 的基數值是 10000）
-
ndigits：在 digits[ ] 數組中的 int16 的個數
關注“青雲技術社區”公眾號，后台回復關鍵字“雲原生實戰”，即可加入課程交流群。
作者
高日耀 資深數據庫內核研發、MySQL 系列產品內核開發
本文由博客一文多發平台 OpenWrite 發布！