ISP pipeline之RAW域降噪
RAW域數據在轉換到我們常見的JPEG圖像的過程中，會經過很多次乘以gain值的放大操作，例如LSC gain，AWB gain，gamma等。因此，降噪是ISP pipeline中對成像畫質影響非常大的一個步驟。今天我們來看一下RAW域降噪模塊的基本原理。
RAW域降噪算法
RAW數據格式一般采用的是Bayer排列方式，即諸如RGGB這樣的排列單元，因此，常見的去噪方式針對Bayer數據格式是不合適的，需要進行變換后才能進行處理。
一、RAW域去噪算法-----分通道進行
這里我們以中值濾波作為常見的濾波算法來加以解釋，中值濾波的核心內容就是將濾波器里面所有像素值進行排序，然后用中間值替代當前像素點值。常用的中值濾波器kernel大小有3X3,5X5等。中值濾波算法的優點在於，實現簡單，能夠有效的消除椒鹽噪聲以及其他脈沖型噪聲。缺點則是所有去噪算法所共有的，就是平滑模糊了圖像的內容，會損失有些角點以及邊緣的信息。
在用中值濾波算法對CFA DATA進行去噪時，需要將不同的顏色通道分開進行處理，這樣是為了防止在平滑過程中將有用的顏色信息丟掉，比如說，由綠色信息包圍的藍色像素值與其相差很大時，此時就會被認為是噪聲被處理掉，然而真實情況是，該區域的藍色信息都是很大的。所以各通道單獨處理的話是有利於保護顏色信息的。因此在處理過程中，是將RAW域數據分成4塊R,GR,B,GB四個部分去噪完成后再重新恢復到Bayer數據格式。
但是，這種方法往往表現差，因為只考慮了灰度的大小，而重要的色彩相關性信息被忽視掉了。
二、RAW域去噪算法-----構造低分辨率圖像
這種方法是利用RAW圖像里面各顏色塊的信息構造一幅低分辨率的RGB圖像，這種方式雖然很好的利用了其顏色相關信息，但是不能夠較好的保護空間域上的高頻信息。
三、RAW域去噪算法-----BM3D(Block Matching 3-D filtering algorithm)算法
BM3D算法是通過限制圖像塊具有相同的顏色配置結構來達到處理RAW圖像的目的。下面我們來簡單介紹一下BM3D算法：
1.基礎估計
1).逐塊估計(Block-wise estimates)
分組(Grouping)，找到所有與目前處理圖像塊相似的塊，把它們堆在一起形成一個3維的數組(分組)。
聯合硬閾值(Collaborative Hard-Thresholding).對已經組織好的分組進行3D變換，通過硬閾值3D變換系數達到減弱噪聲的目的，然后通過3D反變換回去得到分組內圖像塊的去噪后估計，並返回到它們之前所在的位置。
2).聚集(Aggregation) 對所估計圖像塊重復遮蓋的像素點進行加權平均，得到最終的像素值，也就是最后的基礎估計結果。
2.最終估計
1).逐塊估計(Block-wise estimates)
分組(Grouping)，使用圖像塊匹配的方法，找到原噪聲圖像以及基礎估計圖像里面與目前處理圖像塊相似的所有塊，形成兩個3維數組(分組)。
聯合維納濾波(Collaborative wiener-filtering).對已經組織好的兩個分組進行3D變換，將基礎估計圖像的能量頻譜作為真實的能量頻譜對噪聲圖像分組進行維納濾波，然后通過3D反變換回去得到所有分組的圖像塊估計，並返回到它們之前所在的位置。
2).聚集(Aggregation)
對所有得到的估計圖像塊重復遮蓋的像素點進行加權平均，得到最終的像素值，也就是最后的最終估計結果。
BM3D如何找到相似圖像塊組織3D分組：如下圖所示，正方形所示為各個圖像塊，左上的分組所選取的圖像塊都具有角點(尖點)特征，其他分組類似。
BM3D如何在CFA中進行處理：如下圖所示，左邊的分組里面的圖像塊具有不同的彩色配置，即R,G,B的排列方式不是一致的，而右邊具有相同的彩色配置，所以其對於處理CFA圖像是非常合理的。
1，raw domain的噪聲不是單純的高斯噪聲，而是與亮度、顏色都有關系的。
2，在raw domain進行一定程度的降噪，對於圖像質量會有很大的提高，比如demosaic中的結構性噪聲。
3，在raw domain設計降噪算法會稍微容易一些。在不同的亮度進行不同強度的降噪，或者把噪聲歸一化，有利於保護細節。
4，noise profile並不是單純用在denoise這一個模塊上，還以用在時域降噪，demosaic等模塊上。
5，實際使用時並不一定要在raw domain降噪，很多ISP也都是以YUV domain降噪為主體的。