筆者覺得,分庫分表確實好的。但是,動不動搞分庫分表,太麻煩了。分庫分表雖然是提高數據庫性能的常規辦法,但是太麻煩了。所以,嘗試研究mysql的分區到底如何。
之前寫過一篇文章,http://www.cnblogs.com/wangtao_20/p/7115962.html 討論過訂單表的分庫分表,折騰起來工作量挺大的,需要多少技術去折騰。做過的人才知道有多麻煩
要按照什么字段切分,切分數據后,要遷移數據;分庫分表后,會涉及到跨庫、跨表查詢,為了解決查詢問題,又得用其他方案來彌補(比如為了應對查詢得做用戶訂單關系索引表)。工作量確實不小。
從網上也可以看到,大部分實施過的人(成功的)的經驗總結:水平分表,不是必須的,能不做,盡量不做。
一、探討分區的原理
了解分區到底在做什么,存儲的數據文件有什么變化,這樣知道分區是怎么提高性能的。
實際上:每個分區都有自己獨立的數據、索引文件的存放目錄。本質上,一個分區,實際上對應的是一個磁盤文件。所以分區越多,文件數越多。
現在使用innodb存儲較多,mysql默認的存儲引擎從mysiam變為了innodb了。
以innodb來討論:
innodb存儲引擎一張表,對應兩個文件:表名.ibd、表名.frm。
如果分區后,一個分區就單獨一個ibd文件,如下圖:
將fs_punch_in_log表拆分成4個分區,上圖中看到,每個分區就變成一個單獨的數據文件了。mysql會使用"#p#p1"來命名數據文件,1是分區的編號。總共4個分區,最大值是4。
分表的原理,實際上類似,一個表對應一個數據文件。分表后,數據分散到多個文件去了。性能就提高了。
分區后的查詢語句
語句還是按照原來的使用。但為了提高性能。還是盡量避免跨越多個分區匹配數據。
如下圖,由於表是按照id字段分區的。數據分散在多個分區。現在使用user_id作為條件去查詢。mysql不知道到底分配在哪個分區。所以要去全部分區掃描,如果每個分區的數據量大,這樣就耗時很長了。
分區思路和分區語句
id字段的值范圍來分區:在1-2千萬分到p0分區,4千萬到-6千萬p1分區。6千萬到8千萬p2分區。依此推算下去。這樣可以分成很多的分區了。
為了保持線性擴容方便。那么只能使用range范圍來算了。
sql如下
CREATE TABLE `fs_punch_in_log` ( `id` bigint(20) UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '主鍵自增' , `user_id` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '簽到的用戶id' , `punch_in_time` int(10) UNSIGNED NULL DEFAULT NULL COMMENT '打卡簽到時間戳' , PRIMARY KEY (`id`) )
partition BY RANGE (id) (
PARTITION p1 VALUES LESS THAN (40000000),
PARTITION p2 VALUES LESS THAN (80000000),
PARTITION p3 VALUES LESS THAN (120000000),
PARTITION p4 VALUES LESS THAN MAXVALUE
);
以上語句經過筆者測驗,注意點:
- 按照hash均勻分散。傳遞給分區的hash()函數的值,必須是一個整數(hash計算整數計算,實現均勻分布)。上面的id字段就是表的主鍵,滿足整數要求。
- partition BY RANGE 中的partition BY表示按什么方式分區。RANGE告訴mysql,我使用范圍分區。
情況:如果表結構已經定義好了,里面有數據了,怎么進行分區呢?使用alter語句修改即可,經過筆者測驗了。
ALTER TABLE `fs_punch_in_log` PARTITION BY RANGE (id) ( PARTITION p1 VALUES LESS THAN (40000000), PARTITION p2 VALUES LESS THAN (80000000), PARTITION p3 VALUES LESS THAN (120000000), PARTITION p4 VALUES LESS THAN MAXVALUE )
注:由於表里面已經存在數據了,進行重新分區,mysql會把數據按照分區規則重新移動一次,生成新的文件。如果數據量比較大,耗時間比較長。
二、四種分區類型
mysql分區包括四種分區方式:hash分區、按range分區、按key分區、list分區。
四種有點多,實際上,為了好記,把類再縮小點,就兩大類方式進行分區:一種是計算hash值、一種是按照范圍值。
其實分庫分表的時候,也會用到兩大類,hash運算分、按值范圍分。
1、HASH分區
有常規hash和線性hash兩種方式。
- 常規hash是基於分區個數取模(%)運算。根據余數插入到指定的分區。打算分4個分區,根據id字段來分區。
怎么算出新插入一行數據,需要放到分區1,還是分區4呢? id的值除以4,余下1,這一行數據就分到1分區。
常規hash,可以讓數據非常平均的分布每一個分區。比如分為4個取,取余數,余數總是0-3之間的值(總到這幾個分區去)。分配打散比較均勻。
但是也是有缺點的:由於分區的規則在創建表的時候已經固定了,數據就已經打散到各個分區。現在如果需要新增分區、減少分區,運算規則變化了,原來已經入庫的數據,就需要適應新的運算規則來做遷移。
實際上在分庫分表的時候,使用hash方式,也是數據量遷移的問題。不過還好。
針對這個情況,增加了線性hash的方式。
- 線性HASH(LINEAR HASH)稍微不同點。
實際上線性hash算法,就是我們memcache接觸到的那種一致性hash算法。使用虛擬節點的方式,解決了上面hash方式分區時,當新增加分區后,涉及到的數據需要大量遷移的問題。也不是不需要遷移,而是需要遷移的數據量小。
在技術實現上:線性哈希功能使用的一個線性的2的冪(powers-of-two)運算法則,而常規哈希使用的是求哈希函數值的模數。
線性哈希分區和常規哈希分區在語法上的唯一區別在於,在“PARTITION BY”子句中添加“LINEAR”關鍵字。
兩者也有有相同的地方:
- 都是均勻分布的,預先指定n個分區,然后均勻網幾個分區上面分布數據。根據一個字段值取hash值,這樣得到的結果是一個均勻分布的值。后面添加新的分區多少需要考慮數據遷移。
- 常規HASH和線性HASH,因為都是計算整數取余的方式,那么增加和收縮分區后,原來的數據會根據現有的分區數量重新分布。
- HASH分區不能刪除分區,所以不能使用DROP PARTITION操作進行分區刪除操作;
考慮以后遷移數據量少,使用線性hash。
2、按照range范圍分區
范圍分區,可以自由指定范圍。比如指定1-2000是一個分區,2000到5000千又是一個分區。范圍完全可以自己定。后面我要添加新的分區,很容易嗎?
3、按key分區
類似於按HASH分區,區別在於KEY分區只支持計算一列或多列,且MySQL服務器提供其自身的哈希函數。必須有一列或多列包含整數值。
4、按list方式分區
可以把list看成是在range方式的基礎上的改進版。list和range本質都是基於范圍,自己控制范圍。
range是列出范圍,比如1-2000范圍算一個分區,這樣是一個連續的值。
而list分區方式是枚舉方式。可以指定在1,5,8,9,20這些值都分在第一個分區。從list單詞的字面意思命名暗示就是列表,指定列表中出現的值都分配在第幾個分區。
三、如何根據業務選擇分區類型
1、何時選擇分區,何時選擇分表
分表還是比分區更加靈活。在代碼中可以自己控制。一般分表會與分庫結合起來使用的。在進行分表的時候,順帶連分庫方案也一起搞定了。
分表分庫,性能和並發能力要比分區要強。分表后,有個麻煩點:自己需要修改代碼去不同的表操作數據。
代碼很多處要做專門的匹配如下:
每次操作用戶資料,先要根據uid算出是哪個表名稱。然后再去寫sql查詢。
如果使用分區的方式。代碼不用修改。sql還是按照原來的方式寫。mysql內部自動做了匹配了。
非常適合業務剛剛起步的時候,能不能做起來,存活期是多久不知。不用把太多精力花費在分庫分表的適應上。
這是因為雖然數據量多,但是訪問量不大,如果使用分表的話,要修改代碼很多地方,弄起來太麻煩了。投入多,產出少就沒必要了。
考慮到user_id一般不會設計成自增數字。有人會奇怪,怎么不是自增的,我見過好多用戶編號都是自增的!