其主要功能是:在給定的滑動窗口大小下,對每個窗口內的像素值進行快速相加求和
在模式識別領域,Haar特征是大家非常熟悉的一種圖像特征了,它可以應用於許多目標檢測的算法中。與Haar相似,圖像的局部矩形內像素的和、平方和、均值、方差等特征也可以用類似Haar特征的計算方法來計算。這些特征有時會頻繁的在某些算法中使用,因此對它的優化勢在必行。Boxfilter就是這樣一種優化方法,它可以使復雜度為O(MN)的求和,求方差等運算降低到O(1)或近似於O(1)的復雜度,它的缺點是不支持多尺度。
第一個提出Haar特征快速計算方法的是CVPR2001上的那篇經典論文Rapid Object Detection using a Boosted Cascade of Simple Features ,它提出了integral image的概念,這個方法使得圖像的局部矩形求和運算的復雜度從O(MN)下降到了O(4)。它的原理很簡單:首先建立一個數組A,寬高與原圖像相等,然后對這個數組賦值,每個元素的值A[i]賦為該點與圖像原點所構成的矩形中所有像素的和。初始化之后,想要計算某個矩形像素和的時候可以采用如下方法:如圖D矩形的像素和就等於A[4] – A[2] – A[3] + A[1],共4次運算,即O(4)。Integral Image極大的提高了Haar特征的計算速度,它的優點在於能夠快速計算任意大小的矩形求和運算。
Boxfilter的原理有點類似Integral Image,而且比它還要快,但是實現步驟比較復雜。在計算矩形特征之前,Boxfilter與Integral Image都需要對圖像進行初始化(即對數組A賦值),不同於Integral Image, Boxfilter的數組A中的每個元素的值是該像素鄰域內的像素和(或像素平方和),在需要求某個矩形內像素和的時候,直接訪問數組中對應的位置就可以了。因此可以看出它的復雜度是O(1)。
Boxfilter的初始化過程如下:
1、給定一張圖像,寬高為(M,N),確定待求矩形模板的寬高(m,n),如圖紫色矩形。圖中每個黑色方塊代表一個像素,紅色方塊是假想像素。
2、開辟一段大小為M的數組,記為buff, 用來存儲計算過程的中間變量,用紅色方塊表示
3、將矩形模板(紫色)從左上角(0,0)開始,逐像素向右滑動,到達行末時,矩形移動到下一行的開頭(0,1),如此反復,每移動到一個新位置時,計算矩形內的像素和,保存在數組A中。以(0,0)位置為例進行說明:首先將綠色矩形內的每一列像素求和,結果放在buff內(紅色方塊),再對藍色矩形內的像素求和,結果即為紫色特征矩形內的像素和,把它存放到數組A中,如此便完成了第一次求和運算。
4、每次紫色矩形向右移動時,實際上就是求對應的藍色矩形的像素和,此時只要把上一次的求和結果減去藍色矩形內的第一個紅色塊,再加上它右面的一個紅色塊,就是當前位置的和了,用公式表示 sum[i] = sum[i-1] - buff[x-1] + buff[x+m-1]
5、當紫色矩形移動到行末時,需要對buff進行更新。因為整個綠色矩形下移了一個像素,所以對於每個buff[i], 需要加上一個新進來的像素,再減去一個出去的像素,然后便開始新的一行的計算了。
Boxfilter的初始化過程非常快速,每個矩形的計算基本上只需要一加一減兩次運算。從初始化的計算速度上來說,Boxfilter比Integral Image要快一些,大約25%。在具體求某個矩形特征時,Boxfilter比Integral Image快4倍,所謂的4倍其實就是從4次加減運算降低到1次,雖然這個優化非常渺小,但是把它放到幾層大循環里面,還是能節省一些時間的。對於那些實時跟蹤檢測算法,一幀的處理時間要嚴格在40ms以下,正是這些細小的優化決定了程序的效率,積少成多,聚沙成塔。
下面的程序是Boxfilter的示例代碼,謹供參考(C語言)
1 #include <stdio.h> 2 #include <stdlib.h> 3 #include <math.h> 4 #include <opencv2\opencv.hpp> 5 6 void displayImageNewWindow(char *title,CvArr* img){ 7 cvNamedWindow(title,1); 8 cvShowImage(title,img); 9 } 10 void box_filter(IplImage* img,IplImage* result){ 11 //init part 12 CvScalar s; 13 int width = img->width, height = img->height; 14 int m_w = 5,m_h = 5;//window_size 15 int boxwidth = width - m_w, boxheight = height - m_h; 16 int *sum = (int*)malloc(boxwidth *boxheight*sizeof(double)); 17 int *buff= (int*)malloc(width*sizeof(double)); 18 memset(sum,0,boxwidth *boxheight*sizeof(int)); 19 memset(buff,0,width*sizeof(int)); 20 21 //set buff:from 0 to 4 rows,per col 22 int x,y,j; 23 for(y=0; y<m_h; y++){ 24 for(x=0; x<width; x++){ 25 uchar pixel = CV_IMAGE_ELEM(img,uchar,y,x); 26 buff[x] += pixel; 27 //printf("%d:%d\n",x,buff[x]); 28 } 29 } 30 31 for(y=0; y<height - m_h;y++){ 32 int Xsum = 0; 33 34 for(j=0; j<m_w; j++){ 35 Xsum += buff[j];//sum of pixel from (0,0) to (m_h,m_w) (also x = 0) 36 } 37 38 for(x=0; x<boxwidth; x++){ 39 if(x!=0){ 40 Xsum = Xsum-buff[x-1]+buff[m_w-1+x];//Xsum:sum of cols range from x to x+m_w ,rows range from 0 to 4 41 } 42 sum[y*boxwidth + x] = (float) Xsum; 43 } 44 45 for(x=0; x<width; x++){ 46 uchar pixel = CV_IMAGE_ELEM(img,uchar,y,x);//img[y *width + x]; 47 uchar pixel2= CV_IMAGE_ELEM(img,uchar,y+m_h,x);//img[(y+mheight) *width + x]; 48 buff[x] = buff[x] - pixel + pixel2; 49 } 50 } 51 //遍歷,得到每個點的和,傳給矩陣result 52 for( y=0; y<height-5; y++){ 53 for( x=0; x<width; x++){ 54 if(y>m_h/2 && y<height - m_h/2 && x>m_w/2 && x<width - m_w/2){ 55 s.val[0] = sum[(y - m_h/2) *boxwidth + (x - m_h/2)]/(m_h*m_w); 56 cvSet2D(result,y,x,s); 57 }else{ 58 s.val[0] = -1; 59 cvSet2D(result,y,x,s); 60 }//end else 61 }//end the first for 62 }//end the second for 63 } 64 int main(int argc,char** argv){ 65 IplImage* left = cvLoadImage(argv[1]); 66 IplImage* dst = cvCreateImage(cvGetSize(left),8,1); 67 IplImage* mat = cvCreateImage(cvGetSize(left),8,1); 68 cvZero(mat); 69 cvCvtColor(left,dst,CV_RGB2GRAY); 70 box_filter(dst,mat); 71 displayImageNewWindow("mat",mat); 72 cvWaitKey(); 73 return 0; 74 }