第五篇：CUDA 並行程序中的同步

前言

       在並發，多線程環境下，同步是一個很重要的環節。同步即是指進程/線程之間的執行順序約定。

       本文將介紹如何通過共享內存機制實現塊內多線程之間的同步。

       至於塊之間的同步，需要使用到 global memory，代價較為高昂，目前使用的情況也不多，就先不介紹了。

塊內同步函數：__syncthreads ()

       線程調用此函數后，該線程所屬塊中的所有線程均運行到這個調用點后才會繼續往下運行。

代碼示例

       使用同步思想優化之前一篇博文中提到的數組求和程序。在新的程序中，讓每個塊中的第一個線程將塊中所有線程的運算結果都加起來，然后再存入到結果數組中。這樣，結果數組的長度與塊數相等 (原來是和總線程數相等)，大大降低了 CPU 端程序求和的工作量以及需要傳遞進/出顯存的數據 (代碼下方如果出現紅色波浪線無視之)：

// 相關 CUDA 庫
#include "cuda_runtime.h"
#include "cuda.h"
#include "device_launch_parameters.h"

// 此頭文件包含 __syncthreads ()函數
#include "device_functions.h"

#include <iostream>
#include <cstdlib>

using namespace std;

const int N = 100;

// 塊數
const int BLOCK_data = 3; 
// 各塊中的線程數
const int THREAD_data = 10; 

// CUDA初始化函數
bool InitCUDA()
{
    int deviceCount; 

    // 獲取顯示設備數
    cudaGetDeviceCount (&deviceCount);

    if (deviceCount == 0) 
    {
        cout << "找不到設備" << endl;
        return EXIT_FAILURE;
    }

    int i;
    for (i=0; i<deviceCount; i++)
    {
        cudaDeviceProp prop;
        if (cudaGetDeviceProperties(&prop,i)==cudaSuccess) // 獲取設備屬性
        {
            if (prop.major>=1) //cuda計算能力
            {
                break;
            }
        }
    }

    if (i==deviceCount)
    {
        cout << "找不到支持 CUDA 計算的設備" << endl;
        return EXIT_FAILURE;
    }

    cudaSetDevice(i); // 選定使用的顯示設備

    return EXIT_SUCCESS;
}

// 此函數在主機端調用，設備端執行。
__global__ 
static void Sum (int *data,int *result)
{
    // 聲明共享內存 (數組)
    extern __shared__ int shared[]; 
    // 取得線程號
    const int tid = threadIdx.x; 
    // 獲得塊號
    const int bid = blockIdx.x; 

    shared[tid] = 0;
    // 有點像網格計算的思路
    for (int i=bid*THREAD_data+tid; i<N; i+=BLOCK_data*THREAD_data)
    {
        shared[tid] += data[i];
    }
   
    // 塊內線程同步函數
    __syncthreads ();

    // 每個塊內索引為 0 的線程對其組內所有線程的求和結果再次求和
    if (tid == 0) {
        for(int i = 1; i < THREAD_data; i++) { 
            shared[0] += shared[i];
        }
        // result 數組存放各個塊的計算結果
        result[bid] = shared[0];
    }
}

int main ()
{
    // 初始化 CUDA 編譯環境
    if (InitCUDA()) {
        return EXIT_FAILURE;
    }
    cout << "成功建立 CUDA 計算環境" << endl << endl;

    // 建立，初始化，打印測試數組
    int *data = new int [N];
    cout << "測試矩陣: " << endl;
    for (int i=0; i<N; i++)
    {
        data[i] = rand()%10;
        cout << data[i] << " ";
        if ((i+1)%10 == 0) cout << endl;
    }
    cout << endl;

    int *gpudata, *result; 
    
    // 在顯存中為計算對象開辟空間
    cudaMalloc ((void**)&gpudata, sizeof(int)*N); 
    // 在顯存中為結果對象開辟空間
    cudaMalloc ((void**)&result, sizeof(int)*BLOCK_data);
    
    // 將數組數據傳輸進顯存
    cudaMemcpy (gpudata, data, sizeof(int)*N, cudaMemcpyHostToDevice); 
    // 調用 kernel 函數 - 此函數可以根據顯存地址以及自身的塊號，線程號處理數據。
    Sum<<<BLOCK_data,THREAD_data,THREAD_data*sizeof (int)>>> (gpudata,result);
    
    // 在內存中為計算對象開辟空間
    int *sumArray = new int[BLOCK_data];
    // 從顯存獲取處理的結果
    cudaMemcpy (sumArray, result, sizeof(int)*BLOCK_data, cudaMemcpyDeviceToHost);
    
    // 釋放顯存
    cudaFree (gpudata); 
    cudaFree (result);

    // 計算 GPU 每個塊計算出來和的總和
    int final_sum=0;
    for (int i=0; i<BLOCK_data; i++)
    {
        final_sum += sumArray[i];
    }

    cout << "GPU 求和結果為: " << final_sum << endl;

    // 使用 CPU 對矩陣進行求和並將結果對照
    final_sum = 0;
    for (int i=0; i<N; i++)
    {
        final_sum += data[i];
    }
    cout << "CPU 求和結果為: " << final_sum << endl;

    getchar();

    return 0;
}

運行結果

　　

　　PS：矩陣元素是隨機生成的

小結

　　共享內存，或者說這個共享數組是 CUDA 中實現同步最常用的方法。