【算法】使用Golang實現加權負載均衡算法

背景描述

如下圖所示，負載均衡做為反向代理，將請求方的請求轉發至后端的服務節點，實現服務的請求。

在nginx中可以通過upstream配置server時，設置weight表示對應server的權重。 

若存在多個服務節點時，負載均衡如何通過服務節點的權重進行轉發。

如下詳細說明權重轉發算法的實現。

 

用三個后端服務節點為例說明

設置三個后端服務ServerA，ServerB和ServerC，它們的權重分布是 5，3，1

按照加權負載均衡算法，在一輪（5+3+1=9次）中ServerA占5次，ServerB占3次，ServerC占1次，從而實現均衡。

如下圖所示：

 

為了實現這個功能，可以給每一個后端設置對應的權重5,3,1

變量1：后端服務的權重 Weight

變量2：均衡器累計的總的有效權重 EffectiveWeight

變量3：實時統計后端服務的當前權重 CurrentWeight

 

算法設計

第一步，向均衡器中增加后端服務標識

• 將三個后端服務標識和權重Weight增加到負載均衡器列表中。
• 每次增加后端服務時，累計總的有效權重EffectiveWeight。

第二步，每次獲取一個后端服務標識

• 對均衡器中的所有后端服務增加自己的權重Weight，即(5，3，1),計算ABC三個服務的當前權重。
• 選擇當前權重CurrentWeight最大的服務，做為本次期望的后端服務。
• 將期望的后端服務的當前權重CurrentWeight減小總的權重EffectiveWeight，供下一輪使用。

如下是一個一輪（5+3+1=9次）獲取的權重變化表：

從這個表中可以看到后端服務輪詢的順序是 A B A C A B A B A，其中A出現了5次，B出現了3次，C出現了1次，滿足三個服務的權重Weight設置。

完成9次獲取后，ABC三個服務的權重都歸0，因此下一輪的9次獲取也是均衡的，

算法實現

按照如上算法說明，使用Golang實現這個算法如下

package weightroundrobin

import (
    "fmt"
    "strings"
)

// 每一個后端服務定義
type BackendServer struct {
    // 實例權重
    Weight int
    // 當前的權重，初始為Weight
    currentWeight int
    // 后端服務名稱
    ServerName string
}

// 通過權重實現調用輪詢的定義
type WeightServerRoundRobin struct {
    // 所有有效的權重總和
    effectiveWeight int
    // 后端服務列表
    backendServerList []*BackendServer
}

// 創建一個負載輪詢器
func NewWeightServerRoundRobin() *WeightServerRoundRobin {
    return &WeightServerRoundRobin{
        effectiveWeight: 0,
    }
}

// 增加后端服務名稱和權重
func (r *WeightServerRoundRobin) AddBackendServer(backendServer *BackendServer) {
    r.effectiveWeight += backendServer.Weight
    r.backendServerList = append(r.backendServerList, backendServer)
}

// 根據權重獲取一個后端服務名稱
func (r *WeightServerRoundRobin) GetBackendServer() *BackendServer {
    var expectBackendServer *BackendServer
    for _, backendServer := range r.backendServerList {
        // 給每個后端服務增加自身權重
        backendServer.currentWeight += backendServer.Weight
        if expectBackendServer == nil {
            expectBackendServer = backendServer
        }
        if backendServer.currentWeight > expectBackendServer.currentWeight {
            expectBackendServer = backendServer
        }
    }
    r.VisitBackendServerCurrentWeight()
    // 把選擇的后端服務權重減掉總權重
    expectBackendServer.currentWeight -= r.effectiveWeight
    return expectBackendServer
}

// 打印后端服務的當前權重變化
func (r *WeightServerRoundRobin) VisitBackendServerCurrentWeight() {
    var serverListForLog []string
    for _, backendServer := range r.backendServerList {
        serverListForLog = append(serverListForLog,
            fmt.Sprintf("%v", backendServer.currentWeight))
    }
    fmt.Printf("(%v)\n", strings.Join(serverListForLog, ", "))
}

 

寫一個單測進行驗證

package weightroundrobin

import (
    "fmt"
    "testing"
)

func TestNewWeightServerRoundRobin(t *testing.T) {
    weightServerRoundRobin := NewWeightServerRoundRobin()
    weightServerRoundRobin.AddBackendServer(&BackendServer{
        ServerName: "ServerA",
        Weight: 5,
    })
    weightServerRoundRobin.AddBackendServer(&BackendServer{
        ServerName: "ServerB",
        Weight: 3,
    })
    weightServerRoundRobin.AddBackendServer(&BackendServer{
        ServerName: "ServerC",
        Weight: 1,
    })

    expectServerNameList := []string{
        "ServerA", "ServerB", "ServerA", "ServerC", "ServerA", "ServerB", "ServerA", "ServerB", "ServerA",
        //"ServerA", "ServerB", "ServerA", "ServerC", "ServerA", "ServerB", "ServerA", "ServerB", "ServerA",
    }
    fmt.Printf("(A, B, C)\n")
    for ii, expectServerName := range expectServerNameList {
        weightServerRoundRobin.VisitBackendServerCurrentWeight()
        backendServer := weightServerRoundRobin.GetBackendServer()
        if backendServer.ServerName != expectServerName {
            t.Errorf("%v.%v.expect:%v, actual:%v", t.Name(), ii, expectServerName, backendServer.ServerName)
            return
        }
    }
}

運行單元測試，觀察運行結果是否符合算法設計的預期

=== RUN   TestNewWeightServerRoundRobin
(A, B, C)
(0, 0, 0)
(5, 3, 1)
(-4, 3, 1)
(1, 6, 2)
(1, -3, 2)
(6, 0, 3)
(-3, 0, 3)
(2, 3, 4)
(2, 3, -5)
(7, 6, -4)
(-2, 6, -4)
(3, 9, -3)
(3, 0, -3)
(8, 3, -2)
(-1, 3, -2)
(4, 6, -1)
(4, -3, -1)
(9, 0, 0)
--- PASS: TestNewWeightServerRoundRobin (0.00s)
PASS

 

參考材料：

https://github.com/phusion/nginx/commit/27e94984486058d73157038f7950a0a36ecc6e35

 

done.

祝玩的開心~