Go性能優化小結


1 內存優化

1.1 小對象合並成結構體一次分配,減少內存分配次數

做過C/C++的同學可能知道,小對象在堆上頻繁地申請釋放,會造成內存碎片(有的叫空洞),導致分配大的對象時無法申請到連續的內存空間,一般建議是采用內存池。Go runtime底層也采用內存池,但每個span大小為4k,同時維護一個cache。cache有一個0到n的list數組,list數組的每個單元掛載的是一個鏈表,鏈表的每個節點就是一塊可用的內存,同一鏈表中的所有節點內存塊都是大小相等的;但是不同鏈表的內存大小是不等的,也就是說list數組的一個單元存儲的是一類固定大小的內存塊,不同單元里存儲的內存塊大小是不等的。這就說明cache緩存的是不同類大小的內存對象,當然想申請的內存大小最接近於哪類緩存內存塊時,就分配哪類內存塊。當cache不夠再向spanalloc中分配。

建議:小對象合並成結構體一次分配,示意如下:

for k, v := range m {
    k, v := k, v // copy for capturing by the goroutine
    go func() {
        // using k & v
    }()
}

替換為:

for k, v := range m {
    x := struct {k , v string} {k, v} // copy for capturing by the goroutine
    go func() {
        // using x.k & x.v
    }()
}

 

1.2 緩存區內容一次分配足夠大小空間,並適當復用

在協議編解碼時,需要頻繁地操作[]byte,可以使用bytes.Buffer或其它byte緩存區對象。

建議:bytes.Buffert等通過預先分配足夠大的內存,避免當Grow時動態申請內存,這樣可以減少內存分配次數。同時對於byte緩存區對象考慮適當地復用。

1.3 slice和map采make創建時,預估大小指定容量

slice和map與數組不一樣,不存在固定空間大小,可以根據增加元素來動態擴容。

slice初始會指定一個數組,當對slice進行append等操作時,當容量不夠時,會自動擴容:

  • 如果新的大小是當前大小2倍以上,則容量增漲為新的大小;
  • 否而循環以下操作:如果當前容量小於1024,按2倍增加;否則每次按當前容量1/4增漲,直到增漲的容量超過或等新大小。

map的擴容比較復雜,每次擴容會增加到上次容量的2倍。它的結構體中有一個buckets和oldbuckets,用於實現增量擴容:

  • 正常情況下,直接使用buckets,oldbuckets為空;
  • 如果正在擴容,則oldbuckets不為空,buckets是oldbuckets的2倍,

建議:初始化時預估大小指定容量

m := make(map[string]string, 100)
s := make([]string, 0, 100) // 注意:對於slice make時,第二個參數是初始大小,第三個參數才是容量

1.4 長調用棧避免申請較多的臨時對象

goroutine的調用棧默認大小是4K(1.7修改為2K),它采用連續棧機制,當棧空間不夠時,Go runtime會不動擴容:

  • 當棧空間不夠時,按2倍增加,原有棧的變量崆直接copy到新的棧空間,變量指針指向新的空間地址;
  • 退棧會釋放棧空間的占用,GC時發現棧空間占用不到1/4時,則棧空間減少一半。

比如棧的最終大小2M,則極端情況下,就會有10次的擴棧操作,這會帶來性能下降。

建議:

  • 控制調用棧和函數的復雜度,不要在一個goroutine做完所有邏輯;
  • 如查的確需要長調用棧,而考慮goroutine池化,避免頻繁創建goroutine帶來棧空間的變化。

1.5 避免頻繁創建臨時對象

Go在GC時會引發stop the world,即整個情況暫停。雖1.7版本已大幅優化GC性能,1.8甚至量壞情況下GC為100us。但暫停時間還是取決於臨時對象的個數,臨時對象數量越多,暫停時間可能越長,並消耗CPU。

建議:GC優化方式是盡可能地減少臨時對象的個數:

  • 盡量使用局部變量
  • 所多個局部變量合並一個大的結構體或數組,減少掃描對象的次數,一次回盡可能多的內存。

2 並發優化

2.1 高並發的任務處理使用goroutine池

goroutine雖輕量,但對於高並發的輕量任務處理,頻繁來創建goroutine來執行,執行效率並不會太高效:

  • 過多的goroutine創建,會影響go runtime對goroutine調度,以及GC消耗;
  • 高並時若出現調用異常阻塞積壓,大量的goroutine短時間積壓可能導致程序崩潰。

2.2 避免高並發調用同步系統接口

goroutine的實現,是通過同步來模擬異步操作。在如下操作操作不會阻塞go runtime的線程調度:

  • 網絡IO
  • channel
  • time.sleep
  • 基於底層系統異步調用的Syscall

下面阻塞會創建新的調度線程:

  • 本地IO調用
  • 基於底層系統同步調用的Syscall
  • CGo方式調用C語言動態庫中的調用IO或其它阻塞

網絡IO可以基於epoll的異步機制(或kqueue等異步機制),但對於一些系統函數並沒有提供異步機制。例如常見的posix api中,對文件的操作就是同步操作。雖有開源的fileepoll來模擬異步文件操作。但Go的Syscall還是依賴底層的操作系統的API。系統API沒有異步,Go也做不了異步化處理。

建議:把涉及到同步調用的goroutine,隔離到可控的goroutine中,而不是直接高並的goroutine調用。

2.3 高並發時避免共享對象互斥

傳統多線程編程時,當並發沖突在4~8線程時,性能可能會出現拐點。Go中的推薦是不要通過共享內存來通訊,Go創建goroutine非常容易,當大量goroutine共享同一互斥對象時,也會在某一數量的goroutine出在拐點。

建議:goroutine盡量獨立,無沖突地執行;若goroutine間存在沖突,則可以采分區來控制goroutine的並發個數,減少同一互斥對象沖突並發數。

3 其它優化

3.1 避免使用CGO或者減少CGO調用次數

GO可以調用C庫函數,但Go帶有垃圾收集器且Go的棧動態增漲,但這些無法與C無縫地對接。Go的環境轉入C代碼執行前,必須為C創建一個新的調用棧,把棧變量賦值給C調用棧,調用結束現拷貝回來。而這個調用開銷也非常大,需要維護Go與C的調用上下文,兩者調用棧的映射。相比直接的GO調用棧,單純的調用棧可能有2個甚至3個數量級以上。

建議:盡量避免使用CGO,無法避免時,要減少跨CGO的調用次數。

3.2 減少[]byte與string之間轉換,盡量采用[]byte來字符串處理

GO里面的string類型是一個不可變類型,不像c++中std:string,可以直接char*取值轉化,指向同一地址內容;而GO中[]byte與string底層兩個不同的結構,他們之間的轉換存在實實在在的值對象拷貝,所以盡量減少這種不必要的轉化

建議:存在字符串拼接等處理,盡量采用[]byte,例如:

func Prefix(b []byte) []byte {
    return append([]byte("hello", b...))
}

3.3 字符串的拼接優先考慮bytes.Buffer

由於string類型是一個不可變類型,但拼接會創建新的string。GO中字符串拼接常見有如下幾種方式:

  • string + 操作 :導致多次對象的分配與值拷貝
  • fmt.Sprintf :會動態解析參數,效率好不哪去
  • strings.Join :內部是[]byte的append
  • bytes.Buffer :可以預先分配大小,減少對象分配與拷貝

建議:對於高性能要求,優先考慮bytes.Buffer,預先分配大小。非關鍵路徑,視簡潔使用。fmt.Sprintf可以簡化不同類型轉換與拼接。


參考:
1. Go語言內存分配器-FixAlloc
2. https://blog.golang.org/strings


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM