MySQL分表自增ID解決方案


當我們對MySQL進行分表操作后,將不能依賴MySQL的自動增量來產生唯一ID了,因為數據已經分散到多個表中。  

應盡量避免使用自增IP來做為主鍵,為數據庫分表操作帶來極大的不便。

在postgreSQL、oracle、db2數據庫中有一個特殊的特性---sequence。 任何時候數據庫可以根據當前表中的記錄數大小和步長來獲取到該表下一條記錄數。然而,MySQL是沒有這種序列對象的。

可以通過下面的方法來實現sequence特性產生唯一ID:
1. 通過MySQL表生成ID
對於插入也就是insert操作,首先就是獲取唯一的id了,就需要一個表來專門創建id,插入一條記錄,並獲取最后插入的ID。代碼如下:

 

CREATE TABLE `ttlsa_com`.`create_id` ( 
`id` BIGINT( 20 ) NOT NULL AUTO_INCREMENT PRIMARY KEY
) ENGINE = MYISAM

 

也就是說,當我們需要插入數據的時候,必須由這個表來產生id值,我的php代碼的方法如下:

<?php 
function get_AI_ID() { 
    $sql = "insert into create_id (id) values('')"; 
    $this->db->query($sql); 
    return $this->db->insertID(); 
} 
?>

這種方法效果很好,但是在高並發情況下,MySQL的AUTO_INCREMENT將導致整個數據庫慢。如果存在自增字段,MySQL會維護一個自增 鎖,innodb會在內存里保存一個計數器來記錄auto_increment值,當插入一個新行數據時,就會用一個表鎖來鎖住這個計數器,直到插入結 束。如果是一行一行的插入是沒有問題的,但是在高並發情況下,那就悲催了,表鎖會引起SQL阻塞,極大的影響性能,還可能會達到 max_connections值。
innodb_autoinc_lock_mode:可以設定3個值:0、1、2
0:traditonal (每次都會產生表鎖)
1:consecutive (默認,可預判行數時使用新方式,不可時使用表鎖,對於simple insert會獲得批量的鎖,保證連續插入)
2:interleaved (不會鎖表,來一個處理一個,並發最高)
對於myisam表引擎是traditional,每次都會進行表鎖的。

2. 通過redis生成ID

function get_next_autoincrement_waitlock($timeout = 60){
 $count = $timeout > 0 ? $timeout : 60;
 
 while($r->get("serial:lock")){
 $count++;
 sleep(1);
 if ($count > 10)
 return false;
 }
 
 return true;
}
 
function get_next_autoincrement($timeout = 60){
 // first check if we are locked...
 if (get_next_autoincrement_waitlock($timeout) == false)
 return 0;
 
 $id = $r->incr("serial");
 
 if ( $id > 1 )
 return $id;
 
 // if ID == 1, we assume we do not have "serial" key...
 
 // first we need to get lock.
 if ($r->setnx("serial:lock"), 1){
 $r->expire("serial:lock", 60 * 5);
 
 // get max(id) from database.
 $id = select_db_query("select max(id) from user_posts");
 // or alternatively:
 // select id from user_posts order by id desc limit 1
 
 // increase it
 $id++;
 
 // update Redis key
 $r->set("serial", $id);
 
 // release the lock
 $r->del("serial:lock");
 
 return $id;
 }
 
 // can not get lock.
 return 0;
}
 
$r = new Redis();
$r->connect("127.0.0.1", "6379");
 
$id = get_next_autoincrement();
if ($id){
    $sql = "insert into user_posts(id,user,message)values($id,'$user','$message')"
    $data = exec_db_query($sql);
}

3. 隊列方式

其實這也算是上面的一個解說
使用隊列服務,如redis、memcacheq等等,將一定量的ID預分配在一個隊列里,每次插入操作,先從隊列中獲取一個ID,若插入失敗的話,將該ID再次添加到隊列中,同時監控隊列數量,當小於閥值時,自動向隊列中添加元素。

這種方式可以有規划的對ID進行分配,還會帶來經濟效應,比如QQ號碼,各種靚號,明碼標價。如網站的userid, 允許uid登陸,推出各種靚號,明碼標價,對於普通的ID打亂后再隨機分配。

<?php
 
class common {
 
    private $r;
 
    function construct() {
     $this->__construct();
    }
 
    public function __construct(){
     $this->r=new Redis();
     $this->r->connect('127.0.0.1', 6379);
    }
 
    function set_queue_id($ids){
     if(is_array($ids) && isset($ids)){
     foreach ($ids as $id){
     $this->r->LPUSH('next_autoincrement',$id);
     }
     }
    }
 
    function get_next_autoincrement(){
     return $this->r->LPOP('next_autoincrement');
    }
 
}
 
$createid=array();
while(count($createid)<20){
    $num=rand(1000,4000);
    if(!in_array($num,$createid))
        $createid[]=$num;
}
 
$id=new common();
$id->set_queue_id($createid);
 
var_dump($id->get_next_autoincrement());

監控隊列數量,並自動補充隊列和取到id但並沒有使用

4. redis和db結合。

使用redis直接操作內存,可能性能會好些。但是如果redis死掉后,如何處理呢?把兩種結合一下穩定性會更好

 

function next_id($name){
    try{
        return $this->next_id_redis($name);
    }
    catch(Exception $e){
        return $this->next_id_db($name);
    }
}

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM