這個例子是從go源碼src/pkg/net/rpc/server_test.go截取出來的
func benchmarkEndToEndAsync(dial func() (*Client, error), b *testing.B) { const MaxConcurrentCalls = 100 b.StopTimer() once.Do(startServer) client, err := dial() if err != nil { b.Fatal("error dialing:", err) } // Asynchronous calls args := &Args{7, 8} procs := 4 * runtime.GOMAXPROCS(-1) send := int32(b.N) recv := int32(b.N) var wg sync.WaitGroup wg.Add(procs) gate := make(chan bool, MaxConcurrentCalls) res := make(chan *Call, MaxConcurrentCalls) b.StartTimer() for p := 0; p < procs; p++ { go func() { for atomic.AddInt32(&send, -1) >= 0 { gate <- true reply := new(Reply) client.Go("Arith.Add", args, reply, res) } }() go func() { for call := range res { A := call.Args.(*Args).A B := call.Args.(*Args).B C := call.Reply.(*Reply).C if A+B != C { b.Fatalf("incorrect reply: Add: expected %d got %d", A+B, C) } <-gate if atomic.AddInt32(&recv, -1) == 0 { close(res) } } wg.Done() }() } wg.Wait() }
這個代碼用來對rpc的客戶端Go函數進行壓力測試。
這里有幾個地方值得揣摩下:
1 如何測試客戶端服務端?
先使用startServer(這個函數里面具體是開啟了一個routine)進行服務器服務。然后在每個測試用例中啟動server,如果是benchTest的話記得這里的Timer要在啟動服務器行為之后再開啟。
2 這里的wg變量有什么用?
wg變量是sync.WaitGroup類型,Add增加計數,Done減少計數,Wait進行阻塞等待,等計數減為0的時候再停止阻塞。
這里如果不使用WaitGroup進行wait阻塞的話,主routine會先於次routine先結束。會導致程序提早退出。
因此這里也給出了一個測試用例中測試異步函數的方法。就是使用WaitGroup
3 為什么要有gate這個channel buffer?
看起來gate好像是沒什么用啊,如果去掉gate呢?有可能會出現“rpc: discarding Call reply due to insufficient Done chan capacity”
這個gate完全是因為client.Go這個函數,rpc包的client.Go是異步的調用,雖然是異步調用,這個異步調用的最后一個done參數是一個channel buffer。
當client.Go進行完rpc調用后,將信號傳入這個channel buffer。但是這個channel buffer卻是不會阻塞的。
具體看源碼:
這里select加了個default分支,說明了done是非阻塞的。看注釋,作者認為這個buffer的大小容量應該由調用者來保證。rpc包並不保證容量大小。
在並發情況下,我們使用Client.Go的時候就要自己保證channel buffer大小。
方法有個兩個:
1 使用一個同樣大小的channel buffer來進行阻塞保證。
這個方法就是gate的使用原因了。只有gate容量有剩余的時候才會容許調用client.Go
2 調大channel buffer大小
在這個例子中,bench的channel最大只會是b.N,所以,如果我們分配的res的channel buffer大小為b.N也能解決這個問題。
這個方法導致的效果就是bench的時間變快了,但是mem分配增加了。
4 這里的atomic什么作用?
因為這里會有多個routine會對send和recive進行操作,這里就需要保證原子性。
多個並發routine對一個共享變量進行操作有兩種方法,channel和鎖。
這里當然使用channel也能起到原子操作的效果。sync包的atomic和sync的mutex都是鎖的方式。
所以說這里其實可以使用channel,mutex,atomic三種方法。
5 procs的作用?
bench test在運行前自身會調用runtime.GOMAXPROCS進行多核的設置,然后再每個處理器中並行運行測試。
這里的runtime.GOMAXPROCS(-1)是獲取你要跑的cpu核數,這個核數是根據bench test的 -test.cpu設置的。具體可以看下src/testing/testing.go parseCpuList。在沒有設置過GOMAXPROCS和test.cpu的情況下,這里的runtime.GoMAXPROCS就默認是1。
你可以使用-test.cpu 1,2,4來設置你的壓力測試用例是有幾個cpu,每個cpu是幾核的。
這里的procs設置為處理器核數的4倍就是為了測試routine能分配遠大於核數的個數,這樣每個核承擔的goroutine能大於1。
上面的for循環就是保證起的routine數是足夠的。