1 壞點介紹
圖像壞點(Bad pixel) : 圖像傳感器上光線采集點(像素點)所形成的陣列存在工藝上的缺陷,或光信號進行轉化為電信號的過程中出現錯誤,從而會造成圖像上像素信息錯誤,導致圖像中的像素值不准確,這些有缺陷的像素即為圖像壞點。
由於來自不同工藝技術和傳感器制造商,尤其對一些低成本、消費品的sensor來說,壞點數會有很多。另外,sensor在長時間、高溫環境下壞點也會越來越多,從而破壞了圖像的清晰度和完整性。壞點校正的目的就是修復這類問題,通常壞點分為一下兩種:
(1) 靜態壞點:分為靜態亮點和靜態暗點。
靜態亮點:一般來說像素點的亮度值是正比於入射光的,而亮點的亮度值明顯大於入射光乘以相應比例,並且隨着曝光時間的增加,該點的亮度會顯著增加;
靜態壞點:無論在什么入射光下,該點的值接近於0;
(2) 動態壞點:在一定像素范圍內,該點表現正常,而超過這一范圍,該點表現的比周圍像素要亮。與sensor 溫度、增益有關,sensor 溫度升高或者gain 值增大時,動態壞點會變的更加明 顯;
2 壞點校正成因
為什么圖像處理的過程中需要做壞點校正,而且壞點校正(DPC)通常在ISP的pipeline靠前位置?主要有如下原因:
(1) 如果圖像中存在壞點的話,ISP后續進行插值和濾波處理時,會影響周圍的像素點值,因此需要在插值和濾波之前對壞點進行校正 ;
(2) 圖像存在壞點比較多或動態壞點很多的情況下,會造成圖像的邊緣出現偽色彩的情況,這種現象不但影響圖像的清晰度,而且會影響邊緣的色彩;
(3) 壞點也會造成圖像部分pixel閃爍的現象;
3 壞點校正策略
圖像的壞點校正(DPC)通常在Bayer域(灰度圖原理一致)進行。若Bayer域為R/G/B三通道,則分別進行壞點校正;若Bayer域為RGBIR格式,則分別對R/Gr/Gb/B四通道獨立進行。動態壞點校正和靜態壞點校正是兩個相互獨立的過程,可以同時開啟,也可以只開啟一個,視需要設置。
靜態壞點校正:基於已有的靜態壞點表,比較當前點的坐標是否與靜態壞點表中的某個坐標一致,若一致則判定為壞點,然后再計算校正結果對其進行校正。一般情況下,每個sensor的壞點都不一樣,需要sensor廠商給出每個sensor的靜態壞點表,但是出於成本的考慮,很多sensor廠商並沒有給出,而用戶校正的話只能一個一個對其進行校正,因此對於一些低成本的sensor,靜態壞點校正的實用性不是很強。另外,由於在硬件設計的時候需要占用大量的memory,考慮到芯片面積以及一些其他原因,因此靜態壞點有大小的限制,不可以無限制的校正。
動態壞點校正:可以實時的檢測和校正sensor 的亮點與暗點,並且校正的壞點個數不受限制。動態壞點校正相對靜態壞點校正具有更大的不確定性。動態dpc可以分為兩個步驟,分別為壞點檢測和壞點校正。
4 源碼實現(Matlab Version)
該算法是動態壞點校正策略實現,算法使用梯度百分比的方式去檢測壞點,檢測到壞點之后通過中值濾波進行壞點校正,最終通過alpha混合的方式計算出最終的計算結果。代碼如下:
1 close all; 2 clear; 3 clc; 4 %% variable 5 dp_slope = 0.02; 6 dp_thresh = -0.3; 7 r=3; %Stencil radius 8 9 %% read raw image 10 % x = 0:255; 11 % y = dp_slope * x + dp_thresh; 12 % y(y<0) = 0; 13 % y(y>1) = 1; 14 % figure, 15 % plot(0:255,y) 16 % axis([0 255 0 1.5]) 17 18 [filename, pathname] = ... 19 uigetfile({'*.raw'}, 'select picture'); 20 str = [pathname filename]; 21 fp = fopen(str, 'rb'); 22 [X,l] = fread(fp, [1920,1080], 'uint16'); 23 fclose(fp); 24 img = uint8(X/16)'; 25 [height, width] = size(img); 26 img_correct = zeros(height, width); 27 28 %% Image edge extension 29 imgn=zeros(height+2*r,width+2*r); 30 imgn(r+1:height+r,r+1:width+r)=img; 31 imgn(1:r,r+1:width+r)=img(1:r,1:width); 32 imgn(1:height+r,width+r+1:width+2*r+1)=imgn(1:height+r,width:width+r); 33 imgn(height+r+1:height+2*r+1,r+1:width+2*r+1)=imgn(height:height+r,r+1:width+2*r+1); 34 imgn(1:height+2*r+1,1:r)=imgn(1:height+2*r+1,r+1:2*r); 35 36 %% dp algorithm 37 for i = r+1:height-r 38 for j = r+1:width-r 39 40 img_r = imgn(i-r:2:i+r, j-r:2:j+r); 41 data_r_center = img_r(r, r); 42 data_r_diff(1:r+1, 1:r+1) = abs(img_r - img_r(r,r)); 43 data_r_sort = sort(img_r(:)); 44 data_r_median = data_r_sort(r*2+1); 45 data_r_detect = data_r_diff * dp_slope + dp_thresh; 46 data_r_detect(data_r_detect < 0) = 0; 47 data_r_detect(data_r_detect > 1) = 1; 48 data_r_judge = sum(sum(data_r_detect > 0)); 49 data_r_weight = sum(sum(data_r_detect)) / data_r_judge; 50 if i-r == 18 && j-r == 43 51 a = 1; 52 end 53 if data_r_judge >= 7 54 data_r_correct = data_r_median * data_r_weight + (1-data_r_weight) * data_r_center; 55 else 56 data_r_correct = data_r_center; 57 end 58 img_correct(i-r, j-r) = data_r_correct; 59 60 end 61 end 62 63 %% show 64 figure,imshow(uint8(img)); 65 figure,imshow(uint8(img_correct));
仿真效果如下:
動態壞點校正前:

動態壞點校正之后:

