GPGPU OpenCL/CUDA 高性能編程的10大注意事項


1.展開循環

  如果提前知道了循環的次數,可以進行循環展開,這樣省去了循環條件的比較次數。但是同時也不能使得kernel代碼太大。

  循環展開代碼例子:

 1 #include<iostream>
 2 using namespace std;
 3 
 4 int main(){
 5     int sum=0;
 6     for(int i=1;i<=100;i++){
 7         sum+=i;
 8     }
 9 
10     sum=0;
11     for(int i=1;i<=100;i=i+5){
12         sum+=i;
13         sum+=i+1;
14         sum+=i+2;
15         sum+=i+3;
16         sum+=i+4;
17     }
18     return 0;
19 }
View Code

2.避免處理非標准化數字

  OpenCL中非標准化數字,是指數值小於最小能表示的正常值。由於計算機的位數有限,表示數據的范圍和精度都不可能是無限的。(具體可以查看IEEE 754標准,http://zh.wikipedia.org/zh-cn/IEEE_754)

  在OpenCL中使用非標准化數字,可能會出現“除0操作”,處理很耗時間。

  如果在kernel中“除0”操作影響不大的話,可以在編譯選項中加入-cl-denorms-are-zero,如:

    clBuildProgram(program, 0, NULL, "-cl-denorms-are-zero", NULL, NULL);

3.通過編譯器選項傳輸常量基本類型數據到kernel,而不是使用private memory

  如果程序中需要給kernel 傳輸常量基本類型數據,最好是使用編譯器選項,比如宏定義。而不是,每個work-item都定義一個private memory變量。這樣編譯器在編譯時,會直接進行變量替換,不會定義新的變量,節省空間。

  如下面代碼所示(Dmacro.cpp):

1 #include<stdio.h>
2 int main()
3 {
4     int a=SIZE;
5     printf("a=%d, SIZE=%d\n",a,SIZE);
6     return 0;
7 }
View Code

  編譯:

  g++ -DSIZE=128 -o A Dmacro.cpp

 4.如果共享不重要的話,保存一部分變量在private memory而不是local memory

   work-item訪問private memory速度快於local memory,因此可以把一部分變量數據保存在private memory中。當然,當private memory容量滿時,GPU硬件會自動將數據轉存到local memory中。

5.訪問local memory應避免bank conflicts

   local memory被組織為一個一個的只能被單獨訪問的bank,bank之間交叉存儲數據,以便連續的32bit被保存在連續的bank中。如下圖所示:

  (1)如果多個work-item訪問連續的local memory數據,他們就能最大限度的實現並行讀寫。

  (2)如果多個work-item訪問同一個bank中的數據,他們就必須順序執行,嚴重降低數據讀取的並行性。因此,要合理安排數據在local memory中的布局。

  (3)特殊情況,如果一個wave/warp中的線程同時讀取一個local memory中的一個地址,這時將進行廣播,不屬於bank 沖突。

6.避免使用”%“操作

  "%"操作在GPU或者其他OpenCL設備上需要大量的處理時間,如果可能的話盡量避免使用模操作。

7.kernel中重用(Reuse) private memory,為同一變量定義不同的宏

   如果kernel中有兩個或者以上的private variable在代碼中使用(比如一個在代碼段A,一個在代碼段B中),但是他們可以被數值相同。

  也就是當一個變量用作不同的目的時,為了避免代碼中的命名困惑,可以使用宏。在一個變量上定義不同的宏。

  如下面代碼所示:

 1 #include<stdio.h>
 2 int main(){
 3     int i=4;
 4     #define EXP i
 5             printf("EXP=%d\n",EXP);
 6     
 7     #define COUNT i
 8             printf("COUNT=%d\n",COUNT);
 9     getchar();
10     return 0;
11 }
View Code

8.對於(a*b+c)操作,盡量使用 fma function

  如果定義了“FP_FAST_FMAF”宏,就可以使用函數fma(a,b,c)精確的計算a*b+c。函數fma(a,b,c)的執行時間小於或等於計算a*b+c。

9.在program file 文件中對非kernel的函數使用inline

  inline修飾符告訴編譯器在調用inline函數的地方,使用函數體替換函數調用。雖然會使得編譯后的代碼占用memory增加,但是省去了函數調用時上下、函數調用棧的切換操作,節省時間。

10.避免分支預測懲罰,應該盡量使得條件判斷為真的可能性大

  現代處理器一般都會進行“分支預測”,以便更好的提前“預取”下一條要執行的指令,使得“取指令、譯碼分析、執行、保存”盡可能的並行。

  在“分支預測”出錯時,提前取到的指令,不是要執行的指令,就需要根據跳轉指令,進行重新取指令,就是“分支預測懲罰”。

  看如下的代碼:

 1 #include<stdio.h>
 2 int main()
 3 {
 4    int i=1;
 5    int b=0;
 6    if(i == 1)
 7            b=1;
 8     else
 9         b=0;
10     return 1;
11 }

  對應的匯編代碼:

  

  (movl 賦值,cmpl 比較,jne 不等於跳轉,jmp 無條件跳轉)

  從上面的匯編指令代碼看出,如果比較(<main+24>)結果相等,則執行<main+26>也就是比較指令的下一條指令,對應b=1順序執行;如果比較(<main+24>)結果不相等,則執行跳轉到<main+35>,不是順序執行。

  當然,有的處理器可能會根據以往“順序執行”與“跳轉執行”的比例來進行分支預測,但是這也是需要積累的過程。況且並不是,每個處理器多能這樣只能。

本文:http://www.cnblogs.com/xudong-bupt/p/3630952.html

  最后,上面的10個tips,能過提升kernel函數的性能,但是你應該進行具體的性能分析知道程序中最耗時的地方在哪里。當然了,只有通過實驗才能真正學會OpenCL高性能編程。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM