Golang語言分布式ID生成器


生成類似MySQL自增ID這樣不斷增大,同事又不會出現重復的ID,以支持業務中的高並發場景。比較典型的:電商促銷,短時間內出現大量的訂單涌入到系統中,比如每秒10W+。

明星出軌時,會有大量的熱情粉絲發微博以表達自己的心意,同時會在短時間內產生大量的消息。

在插入數據庫之前,需要給這些信息、訂單上先打上一個ID,然后在插入到數據庫中,對這個ID要求希望能帶一些時間信息,這樣即使在后端的系統中對信息進行了分表,也能夠以時間順序對這些信息進行排序。

Twitter的snowflake算法是這種場景中的典型算法。

snowflake

snowflake中的比特位分布

首先確定的數值是64位,int64類型,被划分為4部分,不含開頭的第一個bit,因為這個bit是符號位。用41位表示收到的請求時間戳,單位為毫秒,然后五位來表是數據中心的ID(datacenter_id),然后再五位表示機器的實例ID(worker_id),然后是12位的循環自增ID(sequence_id)到達1111,1111,1111后歸0

這樣的機制可以支持我們在同一台機器上,同一毫秒內產生2^12=4096條信息,一秒共409.6萬條信息。從值域上來講完全夠用了。

數據中心加上實例ID共有10位,可以支持我們每秒數據中心部署32台機器,所有數據中心共1024台實例

表示timestamp的41位,可以支持我們使用69年。當然,我們的時間毫秒計數不會真的從1970年開始記,那樣系統跑到2039-9-7 23:47:35就不能用了,所以這里的timestamp只是相對於某個時間的增量。比如我們的系統上線是2018-08-01,那么可以把這個timestamp當做從2018-08-01 00:00:00.000的偏移量。

worker_id分配

timestamp,datacenter_id,worker_id,sequence_id這四個字段中,timestamp和sequence_id是由程序在運行期生成的。但datacenter_id和worker_id需要我們在部署階段就能夠獲取得到,並且一旦程序啟動之后,就是不可更改的(如果可以隨意更改,可能被不填修改,造成最終生成ID有沖突 。)

一般不同的數據中心的機器,會提供對應的數據中心ID的API,所以datacenter_id我們在部署階段輕松地獲取到。而worker_id是我們邏輯上給機器分配的ID,這個怎么處理?比較簡單的想法是由能夠提供這種自增ID功能的工具來支持,比如MySQL:

mysql>INSERT INTO a(ip) values("10.1.1.10");
Query OK,1 row affected(0.00 sec)
mysql>SELECT last_insert_id();
+------------------+
| last_insert_id() |
+------------------+
|                2 |
+------------------+
1 row in set (0.00 sec)

從MySQL中獲取到worker_id之后,就把這個worker_id直接持久化到本地,以避免每次上線時都需要獲取新的worker_id。讓單實例的worker_id可以始終保持不變。

當然,使用MySQL相當於給我們簡單的ID生成服務增加了一個外部依賴。依賴越多,我們服務的客運為性就差。

考慮到集群中即使有單個ID生成的服務器的實例掛了,也就是損失一段時間的一部分ID,所以簡單暴力一些,把worker_id直接寫在worker的配置中,上線時,由部署腳本完成worker_id字段替換。

開源實例

標准snowflake實現

github.com/bwmarrin/snowflake是一個相當輕量化的snowflake的Go實現,其文檔對各位使用的定義圖:

簡單使用:

package main

import (
	"fmt"
	"os"

	"github.com/bwmarrin/snowflake"
)

func main() {
	n, err := snowflake.NewNode(1)
	if err != nil {
		println(err)
		os.Exit(1)
	}
	for i := 0; i < 3; i++ {
		id := n.Generate()
		fmt.Println("id", id)
		fmt.Println(
			"node:", id.Node(),
			"step:", id.Step(),
			"time:", id.Time(),
			"\n",
		)
	}
}
>>>
id 1444921611449798656
node: 1 step: 0 time: 1633331132172 

id 1444921611449798657
node: 1 step: 1 time: 1633331132172 

id 1444921611449798658
node: 1 step: 2 time: 1633331132172

當然,這個庫也留好了定制的后路,其中預留了一些可定制字段:

// Epoch is set to the twitter snowflake epoch of Nov 04 2010 01:42:54 UTC in milliseconds
// You may customize this to set a different epoch for your application.
Epoch int64 = 1288834974657

// NodeBits holds the number of bits to use for Node
// Remember, you have a total 22 bits to share between Node/Step
NodeBits uint8 = 10

// StepBits holds the number of bits to use for Step
// Remember, you have a total 22 bits to share between Node/Step
StepBits uint8 = 12

Epoch:起始時間

NodeBits:機器編號的位長

StepBits:自增序列的位長

Sonyflake

sonyflake是Sony公司的一個開源項目,基本思路和snowflake差不多,不過位分配上稍有不同

這里的時間只用了39個bit,但時間的單位變成了10ms,所以理論上比41位表示的時間還要久(174年)

Sequence ID和之前的定義一致,Machine ID其實就是節點ID。

sonyflake與眾不同的地方在於其在啟動階段的配置參數:

func NewSonyflake(st Setttings) *Sonyflake

Settings數據結構如下:

type Settings struct {
	StartTime      time.Time				//Sonyflake時間定義為經過時間的時間,當StartTime為0時,則Sonyflake開始時間為“2014-09-01 00:00:00”如果時間早於當前時間,則不會創建Sonyflake
	MachineID      func() (uint16, error)	//MachineID返回Sonyflake實例的唯一ID。如果MachineID為0時,則使用默認MachineID,默認MachineID返回私有IP地址的低16位
	CheckMachineID func(uint16) bool		//CheckMachineID驗證機器ID的唯一性。如果CheckMachineID返回false,則不會創建Sonyflake。如果CheckMachineID為0時,則不進行驗證。
}

Redis中的集合類型來檢查沖突

redis 127.0.0.1:6379> SADD base64_encoding_of_last16bits MzI0Mgo=
(integer) 1
redis 127.0.0.1:6379> SADD base64_encoding_of_last16bits MzI0Mgo=
(integer) 0

使用起來也比較簡單,有一些邏輯簡單的函數就略去實現了:

package main

import (
    "fmt"
    "os"
    "time"

    "github.com/sony/sonyflake"
)

func getMachineID() (uint16, error) {
    var machineID uint16
    var err error
    machineID = readMachineIDFromLocalFile()
    if machineID == 0 {
        machineID, err = generateMachineID()
        if err != nil {
            return 0, err
        }
    }

    return machineID, nil
}

func checkMachineID(machineID uint16) bool {
    saddResult, err := saddMachineIDToRedisSet()
    if err != nil || saddResult == 0 {
        return true
    }

    err := saveMachineIDToLocalFile(machineID)
    if err != nil {
        return true
    }

    return false
}

func main() {
    t, _ := time.Parse("2006-01-02", "2018-01-01")
    settings := sonyflake.Settings{
        StartTime:      t,
        MachineID:      getMachineID,
        CheckMachineID: checkMachineID,
    }

    sf := sonyflake.NewSonyflake(settings)
    id, err := sf.NextID()
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }

    fmt.Println(id)
}

摘自:《Golang語言高級編程》


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM