推特(Twitter)的Snowflake算法——用於生成唯一ID


1.前言

  關於如何在系統中生成唯一性ID的問題(如訂單號、批次號等),一直困擾了許久。因為還要考慮並發的問題,所以時間戳+隨機數的組合並不可取,Java中的UUID是一種可取的方法,但它的缺點是序列號太長了,而且沒有可讀性,對用戶來說這么一堆亂碼是極不友好的。

  推特的工程師snowflake也提出了一個在分布式系統中生成唯一序列的方法。SnowFlake的優點是,效率高,整體上按照時間自增排序,提高了序列號的可讀性,對用戶來說也比較友好,並且整個分布式系統內不會產生ID碰撞(由數據中心ID和機器ID作區分)。

 2.SnowFlake算法的Java實現

 1 /**
 2  * @author Jakeylove3  3  * 2017/12/31  4  */
 5 
 6 /**
 7  * Twitter_Snowflake  8  * SnowFlake的結構如下(每部分用-分開):  9  * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000  10  * 1位標識,由於long基本類型在Java中是帶符號的,最高位是符號位,正數是0,負數是1,所以id一般是正數,最高位是0  11  * 41位時間戳(毫秒級),注意,41位時間戳不是存儲當前時間的時間戳,而是存儲時間戳的差值(當前時間戳 - 開始時間戳)  12  * 得到的值),這里的的開始時間戳,一般是我們的id生成器開始使用的時間,由我們程序來指定的(如下面程序SnowflakeIdWorker類的startTime屬性)。41位的時間戳,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69  13  * 10位的數據機器位,可以部署在1024個節點,包括5位datacenterId和5位workerId  14  * 12位序列,毫秒內的計數,12位的計數順序號支持每個節點每毫秒(同一機器,同一時間戳)產生4096個ID序號  15  * 加起來剛好64位,為一個Long型。  16  */
 17 public class SnowflakeIdWorker {  18     /** 開始時間戳 (2015-01-01) */
 19     private final long twepoch = 1420041600000L;  20 
 21     /** 機器id所占的位數 */
 22     private final long workerIdBits = 5L;  23 
 24     /** 數據標識id所占的位數 */
 25     private final long datacenterIdBits = 5L;  26 
 27     /** 支持的最大機器id,結果是31 (這個移位算法可以很快的計算出幾位二進制數所能表示的最大十進制數) */
 28     private final long maxWorkerId = -1L ^ (-1L << workerIdBits);  29 
 30     /** 支持的最大數據標識id,結果是31 */
 31     private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);  32 
 33     /** 序列在id中占的位數 */
 34     private final long sequenceBits = 12L;  35 
 36     /** 機器ID向左移12位 */
 37     private final long workerIdShift = sequenceBits;  38 
 39     /** 數據標識id向左移17位(12+5) */
 40     private final long datacenterIdShift = sequenceBits + workerIdBits;  41 
 42     /** 時間戳向左移22位(5+5+12) */
 43     private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;  44 
 45     /** 生成序列的掩碼,這里為4095 (0b111111111111=0xfff=4095) */
 46     private final long sequenceMask = -1L ^ (-1L << sequenceBits);  47 
 48     /** 工作機器ID(0~31) */
 49     private long workerId;  50 
 51     /** 數據中心ID(0~31) */
 52     private long datacenterId;  53 
 54     /** 毫秒內序列(0~4095) */
 55     private long sequence = 0L;  56 
 57     /** 上次生成ID的時間戳 */
 58     private long lastTimestamp = -1L;  59 
 60     //==============================Constructors=====================================
 61     /**
 62  * 構造函數  63  * @param workerId 工作ID (0~31)  64  * @param datacenterId 數據中心ID (0~31)  65      */
 66     public SnowflakeIdWorker(long workerId, long datacenterId) {  67         if (workerId > maxWorkerId || workerId < 0) {  68             throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));  69  }  70         if (datacenterId > maxDatacenterId || datacenterId < 0) {  71             throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));  72  }  73         this.workerId = workerId;  74         this.datacenterId = datacenterId;  75  }  76 
 77     // ==============================Methods==========================================
 78     /**
 79  * 獲得下一個ID (該方法是線程安全的)  80  * @return SnowflakeId  81      */
 82     public synchronized long nextId() {  83         long timestamp = timeGen();  84 
 85         //如果當前時間小於上一次ID生成的時間戳,說明系統時鍾回退過這個時候應當拋出異常
 86         if (timestamp < lastTimestamp) {  87             throw new RuntimeException(  88                     String.format("Clock moved backwards.  Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));  89  }  90 
 91         //如果是同一時間生成的,則進行毫秒內序列
 92         if (lastTimestamp == timestamp) {  93             sequence = (sequence + 1) & sequenceMask;  94             //毫秒內序列溢出
 95             if (sequence == 0) {  96                 //阻塞到下一個毫秒,獲得新的時間戳
 97                 timestamp = tilNextMillis(lastTimestamp);  98  }  99  } 100         //時間戳改變,毫秒內序列重置
101         else { 102             sequence = 0L; 103  } 104 
105         //上次生成ID的時間戳
106         lastTimestamp = timestamp; 107 
108         //移位並通過或運算拼到一起組成64位的ID
109         return ((timestamp - twepoch) << timestampLeftShift) // 110                 | (datacenterId << datacenterIdShift) // 111                 | (workerId << workerIdShift) // 112                 | sequence; 113  } 114 
115     /**
116  * 阻塞到下一個毫秒,直到獲得新的時間戳 117  * @param lastTimestamp 上次生成ID的時間戳 118  * @return 當前時間戳 119      */
120     protected long tilNextMillis(long lastTimestamp) { 121         long timestamp = timeGen(); 122         while (timestamp <= lastTimestamp) { 123             timestamp = timeGen(); 124  } 125         return timestamp; 126  } 127 
128     /**
129  * 返回以毫秒為單位的當前時間 130  * @return 當前時間(毫秒) 131      */
132     protected long timeGen() { 133         return System.currentTimeMillis(); 134  } 135 
136     /** 測試 */
137     public static void main(String[] args) { 138         System.out.println("開始:"+System.currentTimeMillis()); 139         SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0); 140         for (int i = 0; i < 50; i++) { 141             long id = idWorker.nextId(); 142  System.out.println(id); 143 // System.out.println(Long.toBinaryString(id));
144  } 145         System.out.println("結束:"+System.currentTimeMillis()); 146  } 147 }

輸出序列號示例:

412992501465481216
412992501465481217
412992501465481218
412992501465481219
412992501465481220
412992501465481221
412992501465481222

......

參考:https://github.com/twitter/snowflake


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM