golang一個例子引出的幾個問題


這個例子是從go源碼src/pkg/net/rpc/server_test.go截取出來的

func benchmarkEndToEndAsync(dial func() (*Client, error), b *testing.B) {
     const MaxConcurrentCalls = 100
     b.StopTimer()
     once.Do(startServer)
     client, err := dial()
     if err != nil {
          b.Fatal("error dialing:", err)
     }

     // Asynchronous calls
     args := &Args{7, 8}
     procs := 4 * runtime.GOMAXPROCS(-1)
     send := int32(b.N)
     recv := int32(b.N)
     var wg sync.WaitGroup
     wg.Add(procs)
     gate := make(chan bool, MaxConcurrentCalls)
     res := make(chan *Call, MaxConcurrentCalls)
     b.StartTimer()

     for p := 0; p < procs; p++ {
          go func() {
               for atomic.AddInt32(&send, -1) >= 0 {
                    gate <- true
                    reply := new(Reply)
                    client.Go("Arith.Add", args, reply, res)
               }
          }()
          go func() {
               for call := range res {
                    A := call.Args.(*Args).A
                    B := call.Args.(*Args).B
                    C := call.Reply.(*Reply).C
                    if A+B != C {
                         b.Fatalf("incorrect reply: Add: expected %d got %d", A+B, C)
                    }
                    <-gate
                    if atomic.AddInt32(&recv, -1) == 0 {
                         close(res)
                    }
               }
               wg.Done()
          }()
     }
     wg.Wait()
}

這個代碼用來對rpc的客戶端Go函數進行壓力測試。

這里有幾個地方值得揣摩下:

1 如何測試客戶端服務端?

先使用startServer(這個函數里面具體是開啟了一個routine)進行服務器服務。然后在每個測試用例中啟動server,如果是benchTest的話記得這里的Timer要在啟動服務器行為之后再開啟。

2 這里的wg變量有什么用?

wg變量是sync.WaitGroup類型,Add增加計數,Done減少計數,Wait進行阻塞等待,等計數減為0的時候再停止阻塞。

這里如果不使用WaitGroup進行wait阻塞的話,主routine會先於次routine先結束。會導致程序提早退出。

因此這里也給出了一個測試用例中測試異步函數的方法。就是使用WaitGroup

3 為什么要有gate這個channel buffer?

看起來gate好像是沒什么用啊,如果去掉gate呢?有可能會出現“rpc: discarding Call reply due to insufficient Done chan capacity”

這個gate完全是因為client.Go這個函數,rpc包的client.Go是異步的調用,雖然是異步調用,這個異步調用的最后一個done參數是一個channel buffer。

當client.Go進行完rpc調用后,將信號傳入這個channel buffer。但是這個channel buffer卻是不會阻塞的。

具體看源碼:

Image(7)

這里select加了個default分支,說明了done是非阻塞的。看注釋,作者認為這個buffer的大小容量應該由調用者來保證。rpc包並不保證容量大小。

在並發情況下,我們使用Client.Go的時候就要自己保證channel buffer大小。

方法有個兩個:

1 使用一個同樣大小的channel buffer來進行阻塞保證。

這個方法就是gate的使用原因了。只有gate容量有剩余的時候才會容許調用client.Go

2 調大channel buffer大小

在這個例子中,bench的channel最大只會是b.N,所以,如果我們分配的res的channel buffer大小為b.N也能解決這個問題。

這個方法導致的效果就是bench的時間變快了,但是mem分配增加了。

4 這里的atomic什么作用?

因為這里會有多個routine會對send和recive進行操作,這里就需要保證原子性。

多個並發routine對一個共享變量進行操作有兩種方法,channel和鎖。

這里當然使用channel也能起到原子操作的效果。sync包的atomic和sync的mutex都是鎖的方式。

所以說這里其實可以使用channel,mutex,atomic三種方法。

5 procs的作用?

bench test在運行前自身會調用runtime.GOMAXPROCS進行多核的設置,然后再每個處理器中並行運行測試。

這里的runtime.GOMAXPROCS(-1)是獲取你要跑的cpu核數,這個核數是根據bench test的 -test.cpu設置的。具體可以看下src/testing/testing.go parseCpuList。在沒有設置過GOMAXPROCS和test.cpu的情況下,這里的runtime.GoMAXPROCS就默認是1。

你可以使用-test.cpu 1,2,4來設置你的壓力測試用例是有幾個cpu,每個cpu是幾核的。

這里的procs設置為處理器核數的4倍就是為了測試routine能分配遠大於核數的個數,這樣每個核承擔的goroutine能大於1。

上面的for循環就是保證起的routine數是足夠的。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM