唯一ID可以標識數據的唯一性,在分布式系統中生成唯一ID的方案有很多,常見的方式大概有以下三種:
- 依賴數據庫,使用如MySQL自增列或Oracle序列等
- UUID隨機數
- snowflake雪花算法
一、數據庫和UUID方案的不足之處
采用數據庫自增序列:
- 讀寫分離時,只有主節點可以進行寫操作,可能有單點故障的風險
- 分表分庫,數據遷移合並等比較麻煩
UUID隨機數:
- 采用無意義字符串,沒有排序
- UUID使用字符串形式存儲,數據量大時查詢效率比較低
二、關於雪花算法
有這么一種說法,自然界中並不存在兩片完全一樣的雪花的。每一片雪花都擁有自己漂亮獨特的形狀、獨一無二。雪花算法也表示生成的ID如雪花般獨一無二。
1. 組成結構
大致由:首位無效符、時間戳差值,機器(進程)編碼,序列號四部分組成
2. 特點(自增、有序、適合分布式場景)
- 時間位:可以根據時間進行排序,有助於提高查詢速度
- 機器id位:適用於分布式環境下對多節點的各個節點進行標識,可以具體根據節點數和部署情況設計划分機器位10位長度,如划分5位表示進程位等
- 序列號位:是一系列的自增id,可以支持同一節點同一毫秒生成多個ID序號,12位的計數序列號支持每個節點每毫秒產生4096個ID序號
snowflake算法可以根據項目情況以及自身需要進行一定的修改。
三、雪花算法的缺點
雪花算法在單機系統上ID是遞增的,但是在分布式系統多節點的情況下,所有節點的時鍾並不能保證不完全同步,所以有可能會出現不是全局遞增的情況。
四、雪花算法代碼實現
package com.lw.coodytest.snawflake; /** * @Classname SnakeFlake * @Description Twitter的分布式自增ID雪花算法snowflake (Java) * SnowFlake的結構如下(每部分用-分開):<br> * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 <br> * 1位標識,由於long基本類型在Java中是帶符號的,最高位是符號位,正數是0,負數是1,所以id一般是正數,最高位是0<br> * 41位時間截(毫秒級),注意,41位時間截不是存儲當前時間的時間截,而是存儲時間截的差值(當前時間截 - 開始時間截) * 得到的值),這里的的開始時間截,一般是我們的id生成器開始使用的時間,由我們程序來指定的(如下下面程序IdWorker類的startTime屬性)。 * 41位的時間截,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69<br> * 10位的數據機器位,可以部署在1024個節點,包括5位datacenterId和5位workerId<br> * 12位序列,毫秒內的計數,12位的計數順序號支持每個節點每毫秒(同一機器,同一時間截)產生4096個ID序號<br> * 加起來剛好64位,為一個Long型。<br> * SnowFlake的優點是,整體上按照時間自增排序,並且整個分布式系統內不會產生ID碰撞(由數據中心ID和機器ID作區分),並且效率較高, * 經測試,SnowFlake每秒能夠產生26萬ID左右。 * @Author lw * @Date 2020-03-17 14:21 */ public class SnowflakeIdWorker { /** * 開始時間截 */ private static final long twepoch = 1420041600000L; /** * 機器id所占的位數 */ private static final long workerIdBits = 5L; /** * 數據標識id所占的位數 */ private static final long datacenterIdBits = 5L; /** * 支持的最大機器id,結果是31 (這個移位算法可以很快的計算出幾位二進制數所能表示的最大十進制數) */ private static final long maxWorkerId = -1L ^ (-1L << workerIdBits); /** * 支持的最大數據標識id,結果是31 */ private static final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits); /** * 序列在id中占的位數 */ private static final long sequenceBits = 12L; /** * 機器ID向左移12位 */ private static final long workerIdShift = sequenceBits; /** * 數據標識id向左移17位(12+5) */ private static final long datacenterIdShift = sequenceBits + workerIdBits; /** * 時間截向左移22位(5+5+12) */ private static final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits; /** * 生成序列的掩碼,這里為4095 (0b111111111111=0xfff=4095) */ private static final long sequenceMask = -1L ^ (-1L << sequenceBits); /** * 工作機器ID(0~31) */ private long workerId; /** * 數據中心ID(0~31) */ private long datacenterId; /** * 毫秒內序列(0~4095) */ private long sequence = 0L; /** * 上次生成ID的時間截 */ private long lastTimestamp = -1L; /** * 構造函數 * * @param workerId 工作ID (0~31) * @param datacenterId 數據中心ID (0~31) */ public SnowflakeIdWorker(long workerId, long datacenterId) { if (workerId > maxWorkerId || workerId < 0) { throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId)); } if (datacenterId > maxDatacenterId || datacenterId < 0) { throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId)); } this.workerId = workerId; this.datacenterId = datacenterId; } /** * 獲得下一個ID (該方法是線程安全的) * * @return SnowflakeId */ public synchronized long nextId() { long timestamp = timeGen(); //如果當前時間小於上一次ID生成的時間戳,說明系統時鍾回退過這個時候應當拋出異常 if (timestamp < lastTimestamp) { throw new RuntimeException( String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp)); } //如果是同一時間生成的,則進行毫秒內序列 if (lastTimestamp == timestamp) { sequence = (sequence + 1) & sequenceMask; //毫秒內序列溢出 if (sequence == 0) { //阻塞到下一個毫秒,獲得新的時間戳 timestamp = tilNextMillis(lastTimestamp); } } //時間戳改變,毫秒內序列重置 else { sequence = 0L; } //上次生成ID的時間截 lastTimestamp = timestamp; //移位並通過或運算拼到一起組成64位的ID return ((timestamp - twepoch) << timestampLeftShift) | (datacenterId << datacenterIdShift) | (workerId << workerIdShift) | sequence; } /** * 阻塞到下一個毫秒,直到獲得新的時間戳 * * @param lastTimestamp 上次生成ID的時間截 * @return 當前時間戳 */ protected long tilNextMillis(long lastTimestamp) { long timestamp = timeGen(); while (timestamp <= lastTimestamp) { timestamp = timeGen(); } return timestamp; } /** * 返回以毫秒為單位的當前時間 * * @return 當前時間(毫秒) */ protected long timeGen() { return System.currentTimeMillis(); } public static void main(String[] args) { SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0); for (int i = 0; i < 1000; i++) { long id = idWorker.nextId(); System.out.println(Long.toBinaryString(id)); System.out.println(id); } } }