1 色比色差定律
在前面的博客<圖像bayer格式介紹以及bayer插值原理CFA>中,簡單介紹了Bayer域插值原理以及早期常用的雙線性插值算法。雙線性插值算法的優點是原理簡單,實現相對容易,性能較高,占用硬件資源較少,但是在圖像RGB恢復過程中會造成邊緣信息的丟失和模糊,另外由於沒有考慮顏色通道之間相關性,因此圖像恢復主觀視覺效果差,容易產生鋸齒效應。鑒於雙線性插值算法的缺點,優化鋸齒效應,新的算法需要考慮RGB通道色彩相關性。
蒙德里安(Mondriann)彩色圖像的成像模型:每個顏色通道可以被看作真實三維世界的表面法向量n(x)在光源方向了的投影與反射率p(x,y)的乘積。反射率p(x,y)表征了三維物體的材料特性,並且不同顏色的反射率是互不相同的。根據該模型,紅、綠和藍三色通道可由下列公式表示:

根據上述公式,假設圖片中的一個給定物體的材料是相同的,即材料對於紅色、藍色和綠色的反射率在給定物體范圍內固定不變,即p(X)=c。可以推導以下比值關系 :

由上可知,在給定的物體內的任一位置,顏色比值為常量。雖然上述比值關系基於簡單的假設條件,但在圖像的小塊局部鄰域內,且該局部鄰域沒有橫越圖像邊緣的情況下,仍是有效的,符合自然圖像色彩亮度均勻過度這一特性。上述比值定律被稱為色比定律。
色比定律是在線性曝光空間中討論的得出的,將線性曝光空間的色比定律轉換到對數曝光空間即可得到色差定律。色差定律可表達為,在圖像的小范圍局部鄰域內I(i,x) - I(j,X)=常數。
常見Bayer域R/G/B分布模型如下,后續插值算法使用:

2 基於色比定律的插值算法
基色比定律的去馬賽克算法,解決雙線性插值過程中出現的不自然的色調變化情況。Bayer CFA可看作由亮度信號(高采樣率的綠色像素點)和色度信號(低采樣率的紅色和藍色像素點)組成。亮度信號可通過簡單的雙線性插值進行估算,色度信號通過應用鄰域內的色調的平緩性來插值恢復。色調(hue)被定義為色度信號與亮度信號的比值,即藍色采樣點處的色調為B/G,紅色采樣點處的色調為R/G。 重建步驟如下:
(1) 用雙線性插值算法恢復出紅色和藍色采樣點處的綠色分量,圖a/b為例如下:
(2) 使用已經重建好的綠色分量,基於色比定律恢復紅色和藍色分量,如圖a紅色采樣點處的藍色分量恢復策略如下,圖b藍色采樣點處的紅色分量恢復策略類似。在3*3中心領域內,基於色比定律可知:

換算可得:

圖c和圖d中心綠色采樣點處紅色和藍色分量的恢復方法相同,以圖c為例,R/B恢復方法如下:

基於色比定律進行色比定律進行去馬賽克操作需要涉及大量的乘法和除法操作,當某點的綠色分量為0時,還需要重新定義色調(Hue)的含義,因此算法實現時需要消耗大量的性能資源和條件保護。
3 基於色差定律的插值算法
基於色比定律實現的插值算法帶來的缺陷性,運用如下的色差定律使得去馬賽克設計的操作更加簡單方便,運用色差定律時,色調(Hue)被定義為色度信號與亮度信號的差,即(B - G或R - G), 算法實現步驟如下:
(1) 用雙線性插值恢復紅色和藍色采樣點處丟失的綠色分量,同色比定律的綠色分量恢復;
(2) 用已經恢復的綠色分量,基於色差定律,恢復圖(a)和圖(b)中的藍色或紅色分量,具體如下:
(3) 用已經恢復的綠色分量,基於色差定律,恢復圖c和圖d中的藍色和紅色分量,以圖c為例,如下:

相對於基於色比定律的色差算法,利用色差定律的插值算法僅僅通過加減法和移位操作即可完成,計算開銷非常小,易於硬件化,在性能和硬件資源消耗上明顯優於前者。
4 算法優缺點
基於色差色比定律的去馬賽克算法雖然利用了顏色空間的相關性進行插值,其本質還是3x3鄰域內的雙線性插值。因為綠色.分量的插值運算仍然基於雙線,因此會存在如下現象:
(1) 當該3x3鄰域內的色彩值較為接近,即為圖像平滑區域,無邊緣相交時,可取的較好的插值效果;
(2) 當處於邊緣地帶時,由於綠色分量的插值不包含邊緣信息,且錯誤的綠色分量會進而影響紅色藍色分量的插值重建,圖像會產生很多錯誤顏色;
針對該現象,后續會陸續介紹進一步優化后的CFA插值算法。
