學廢了系列 - WebGL與Node.js中的Buffer


WebGL 和 Node.js 中都有 Buffer 的使用,簡單對比記錄一下兩個完全不相干的領域中 Buffer 異同,加強記憶。

Buffer 是用來存儲二進制數據的「緩沖區」,其本身的定義和用途在任何技術領域都是一致的,跟 WebGL 和 Node.js 沒有直接關系,兩者唯一的共同點就是都使用 JavaScript。

在 ES6 將TypedArray二進制類型數組)正式加入 ECMA 標准之前,JavaScript 語言本身並沒有標准的處理二進制數據的能力,Buffer 就是為了彌補這一缺陷。

TypedArray 成為 ECMA 標准之前就已經在 WebGL 領域廣泛使用了。

Node.js 加入 Buffer 的作用主要是為了處理 stream,比如網絡流、文件流等等。Buffer 占用預申請的一整片內存,stream 被消費的速度如果低於接收速度,就會被暫存在緩沖區內,然后被消費者從緩存區依序取出消費。

Node.js 中的 Buffer 是 Uint8Array 的子類,Uint8Array 是ECMA 標准中 TypedArray 中的一種數據類型。

console.log(Buffer.__proto__) 
// 打印 [Function: Uint8Array] 

其實 Node.js 中的 Buffer 與 ECMA 標准的 TypedArray 並沒有直接關系,Node.js 很早期的版本(v0.10.0)版本就支持了 Buffer。Uint8Array,或者說 ECMA 標准中所有的 TypedArray 都是 JavaScript 引擎提供的一種 API,早期未被加入 ECMA 標准的時候就已經有不少引擎實現了這些 API,而最早使用二進制類型數組的場景就是 WebGL。

話說回來,ECMA 標准做的不就是“集百家之長”(修辭手法-反諷)的事嗎哈哈😂

然后說到 WebGL 中的 Buffer。

WebGL 有兩種 Buffer 類型:

  • ARRAY_BUFFER:頂點屬性數據的 Buffer,用來傳遞任何跟頂點相關的數據,比如坐標、顏色等等。這些數據一般是浮點數,最常用的類型是 Float32Array
  • ELEMENT_ARRAY_BUFFER:元素索引數據的 Buffer,用來傳遞讀取 ARRAY_BUFFER 元素的順序。每個元素必須是整數,使用 Uint8Array,這一點跟 Node.js 中的 Buffer 一致。此 buffer 是可選項,如果不使用的話 ,ARRAY_BUFFER 的元素會被按照 index 依序讀取。

雖然 WebGL 中沒有 stream 的概念(嚴格來說是從開發者的認知層面沒有 stream,底層 OpenGL 處理 buffer 數據的流程中是有 stream 的),但 Buffer 的作用跟 Node.js 是一致的,都是將數據暫存在一整片預申請的內存中,供后續進程邏輯消費,區別是消費者不同。

在WebGL渲染管線中,但從CPU到GPU完整的數據傳輸鏈路中,有以下幾種buffer:

  • VBO,Vertex Buffer Object,頂點緩沖對象儲存頂點屬性數據,消費者是 shader,嚴格的說是 vertex shader;
  • FBO,Fragment Buffer Object,幀緩沖對象可以簡單理解為一個指針集合體,附着 RBO、顏色、紋理等用於渲染的所有信息;
  • RBO,Rendering Buffer Object,渲染緩沖對象儲存 depth(深度)、stencil(模板)值。

FBO 與 RBO、紋理的關系如下圖:

另外一點需要了解的是 buffer 對象從 CPU 流轉到 GPU 的過程,這個過程涉及到總線通訊,雖然這些跟 Node.js 沒有一毛錢關系,但是其中的一些實現跟 Node.js 常見八股文面試題「跨進程通信」有一些相同的理念。

WebGL中buffer最初被創建和寄存在CPU內存中,如何讓GPU訪問CPU內存呢?回答這個問題之前先介紹幾個基本概念:

  • CPU 的內存一般稱為 main memory
  • GPU 自己的儲存稱為 local memory

在 WebGL/OpenGL 中,頂點數據被創建被寄存在 main memory 中,GPU 需要得到這部分數據進行渲染,但是 main memory 和 local memory 是絕對隔離的,不能互相訪問。

對於集成顯卡來說,GPU 和 CPU 共享總線,GPU 沒有自己獨立的儲存空間,一般是從 CPU 儲存中分配出一塊空間給 GPU 使用,我們把這部分空間姑且叫做顯存(嚴格來說集成顯卡沒有顯存的概念)。為了實現 GPU 和 CPU 數據的共享,業內引入了一種叫做 GART(Graphic Address Remapping Table)的技術,GART簡單說就是一個映射 main memory 和 local memory 地址的表。集成顯卡的顯存一般很小,必然是小於內存的(一般默認上限是內存總量的1/4),OS 將整個 local memory 空間映射到 main memory,維護一個 GART。此時 buffer 數據的流轉如下圖所示:

但是這套流程在獨立顯卡中是行不通的,因為獨立顯卡的顯存非常大,如果使用 GART 將顯存空間完全映射到 CPU 內存中會占用非常大的內存空間,32位系統的整個內存空間也就僅僅4GB,如果分出 2GB 給顯存映射,那就別干啥了。

這下明白為啥64位系統玩游戲更爽了吧~

所以對於獨立顯卡需要另外一套 CPU 與 GPU 的數據共享機制。目前比較普遍的方式是在內存中單獨划出一塊物理空間用於 CPU 和 GPU 之間的數據交換中轉,這部分內存空間叫做 pinned memory(鎖定內存)。buffer 數據首先會被從 main memory 中拷貝到 pinned memory 中,然后通過 DMA(Direct Memory Access,直接內存訪問)機制將數據傳輸到 GPU,整個過程如下:

請注意, pinned memory 是一塊物理內存而不是虛擬內存,這樣能夠保證DMA的傳輸性能。

這下明白為啥打游戲一定要加大內存了吧~

獨立顯卡的這套數據交換機制跟 Node.js 八股文「跨進程通信」的共享內存理念很接近,不過復雜度更高一些。

上面這些內容大都是 OpenGL 和計算機底層的機制,對 WebGL 開發者來說是無感知的,具體到涉及 Buffer 的代碼層面, WebGL 需要比 Node.js 更謹慎的處理 Buffer 的內存管理。

Node.js 中 Buffer 在分配內存時采用了 slab 預先申請、事后分配機制,這是在底層C++的邏輯,開發者不可控。這套機制能夠提高 Node.js 需要頻繁申請 buffer 內存場景下的性能表現。而 WebGL 中並沒有這套機制,需要開發者自行處理。一般的做法是預申請一個容量很大的 buffer,然后使用 gl.bufferSubData(類似Node.js 的 Buffer.fill)局部更新數據,這樣能避免頻繁申請內存空間造成的性能損耗。

以上。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM