CPU：中央處理器，主要為串行指令而優化（大白話：響應速度快）。
GPU：圖形處理器，主要為大規模的並行運算而優化（大白話：能同時處理大規模數據計算）。
GPU也稱顯示芯片、顯卡等。一般有集成（嵌在主板上）和非集成（可插拔）兩種。后者自然需要一套軟件來讓CPU操作GPU。這個軟件程序就叫顯卡驅動。軟件需要編譯，自然高度依賴操作系統，因此即使同樣型號的顯卡在不同操作系統一般需要的驅動也不一樣。
那CUDA又是什么？ PS：發音是[Kju:dA]
話說在2007年之前，GPU由CPU操作，CPU把一些圖形圖像的計算任務交給GPU執行。程序員不需要與GPU打交道。隨着GPU計算能力的發展，越來越多的計算場景由GPU完成效果會更好。但現有的程序無法直接自由控制GPU的處理器。當然程序員也可以直接寫代碼與顯卡驅動對接，從而直接控制GPU的處理器，但這樣代碼恐怕寫起來要讓人瘋掉。
GPU由英偉達最初推出，目前為止自然也是它一家獨大。但程序員不願意與顯卡驅動對接，英偉達很着急。
想要把自家產品的性能發揮到最高，英偉達當然會有動力提供一套軟件接口來簡化操作GPU的處理器。英偉達把這一套軟件定義為CUDA（Compute Unified Device Architecture，統一計算架構）。大白話就是英偉達開發的一套軟件，方便程序員直接操控自家的顯示芯片