Go里面 G-P-M 模型概述

G-P-M 模型概述

在 Go 語言中，每一個 goroutine 是一個獨立的執行單元，相較於每個 OS 線程固定分配 2M 內存的模式，goroutine 的棧采取了動態擴容方式， 初始時僅為2KB，隨着任務執行按需增長，最大可達 1GB（64 位機器最大是 1G，32 位機器最大是 256M），且完全由 golang 自己的調度器 Go Scheduler 來調度。此外，GC 還會周期性地將不再使用的內存回收，收縮棧空間。 因此，Go 程序可以同時並發成千上萬個 goroutine 是得益於它強勁的調度器和高效的內存模型。

調度算法

 

GPM

• G: 表示 Goroutine，每個 Goroutine 對應一個 G 結構體，G 存儲 Goroutine 的運行堆棧、狀態以及任務函數，可重用。G 並非執行體，每個 G 需要綁定到 P 才能被調度執行。

• P: Processor，表示邏輯處理器， 對 G 來說，P 相當於 CPU 核，G 只有綁定到 P(在 P 的 local runq 中)才能被調度。對 M 來說，P 提供了相關的執行環境(Context)，如內存分配狀態(mcache)，任務隊列(G)等，P 的數量決定了系統內最大可並行的 G 的數量（前提：物理 CPU 核數 >= P 的數量），P 的數量由用戶設置的 GOMAXPROCS 決定，但是不論 GOMAXPROCS 設置為多大，P 的數量最大為 256。

• M: Machine，OS 線程抽象，代表着真正執行計算的資源，在綁定有效的 P 后，進入 schedule 循環；而 schedule 循環的機制大致是從 Global 隊列、P 的 Local 隊列以及 wait 隊列中獲取 G，切換到 G 的執行棧上並執行 G 的函數，調用 goexit 做清理工作並回到 M，如此反復。M 並不保留 G 狀態，這是 G 可以跨 M 調度的基礎，M 的數量是不定的，由 Go Runtime 調整，為了防止創建過多 OS 線程導致系統調度不過來，目前默認最大限制為 10000 個。

• 每個 P 維護一個 G 的本地隊列；

• 當一個 G 被創建出來，或者變為可執行狀態時，就把他放到 P 的本地可執行隊列中，如果滿了則放入Global；

• 當一個 G 在 M 里執行結束后，P 會從隊列中把該 G 取出；如果此時 P 的隊列為空，即沒有其他 G 可以執行， M 就隨機選擇另外一個 P，從其可執行的 G 隊列中取走一半。

• 調度過程

  當通過 go 關鍵字創建一個新的 goroutine 的時候，它會優先被放入 P 的本地隊列。為了運行 goroutine，M 需要持有（綁定）一個 P，接着 M 會啟動一個 OS 線程，循環從 P 的本地隊列里取出一個 goroutine 並執行。執行調度算法：當 M 執行完了當前 P 的 Local 隊列里的所有 G 后，P 也不會就這么在那划水啥都不干，它會先嘗試從 Global 隊列尋找 G 來執行，如果 Global 隊列為空，它會隨機挑選另外一個 P，從它的隊列里中拿走一半的 G 到自己的隊列中執行。

  阻塞

  Go runtime 會在下面的 goroutine 被阻塞的情況下運行另外一個 goroutine：

  • blocking syscall (for example opening a file)
  • network input
  • channel operations
  • primitives in the sync package

  這四種場景又可歸類為兩種類型：

  用戶態阻塞/喚醒

  當 goroutine 因為 channel 操作阻塞時，對應的 G 會被放置到某個 wait 隊列(如 channel 的 waitq)，該 G 的狀態由_Gruning 變為 _Gwaitting ，而 M 會跳過該 G 嘗試獲取並執行下一個 G，如果此時沒有 runnable 的 G 供 M 運行，那么 M 將解綁 P，並進入 sleep 狀態；當阻塞的 G 被另一端的 G2 喚醒時（比如 channel 的可讀/寫通知），G 被標記為 runnable，嘗試加入 G2 所在 P 的 runnext，然后再是 P 的 Local 隊列和 Global 隊列。

  系統調用阻塞

  當 G 被阻塞在某個系統調用上時，此時 G 會阻塞在 _Gsyscall 狀態，M 也處於 block on syscall 狀態，此時的 M 可被搶占調度：執行該 G 的 M 會與 P 解綁，而 P 則嘗試與其它空閑的 M 綁定，繼續執行其它 G。如果沒有其它空閑的 M，但 P 的 Local 隊列中仍然有 G 需要執行，則創建一個新的 M；當系統調用完成后，G 會重新嘗試獲取一個空閑的 P 進入它的 Local 隊列恢復執行，如果沒有空閑的 P，G 會被標記為 runnable 加入到 Global 隊列。