目標檢測的圖像特征提取之_LBP特征

LBP（Local Binary Pattern，局部二值模式）是一種用來描述圖像局部紋理特征的算子；它具有旋轉不變性和灰度不變性等顯著的優點。它是首先由T. Ojala, M.Pietikäinen,和 D. Harwood 在1994年提出，用於紋理特征提取。而且，提取的特征是圖像的局部的紋理特征；

 

1、LBP特征的描述

       原始的LBP算子定義為在3*3的窗口內，以窗口中心像素為閾值，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大於中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3*3鄰域內的8個點經比較可產生8位二進制數（通常轉換為十進制數即LBP碼，共256種），即得到該窗口中心像素點的LBP值，並用這個值來反映該區域的紋理信息。如下圖所示：

 

LBP的改進版本：

       原始的LBP提出后，研究人員不斷對其提出了各種改進和優化。

（1）圓形LBP算子：

        基本的 LBP算子的最大缺陷在於它只覆蓋了一個固定半徑范圍內的小區域，這顯然不能滿足不同尺寸和頻率紋理的需要。為了適應不同尺度的紋理特征，並達到灰度和旋轉不變性的要求，Ojala等對 LBP算子進行了改進，將 3×3鄰域擴展到任意鄰域，並用圓形鄰域代替了正方形鄰域，改進后的 LBP算子允許在半徑為 R 的圓形鄰域內有任意多個像素點。從而得到了諸如半徑為R的圓形區域內含有P個采樣點的LBP算子；

（2）LBP旋轉不變模式

       從 LBP 的定義可以看出，LBP 算子是灰度不變的，但卻不是旋轉不變的。圖像的旋轉就會得到不同的 LBP值。

         Maenpaa等人又將 LBP算子進行了擴展，提出了具有旋轉不變性的 LBP算子，即不斷旋轉圓形鄰域得到一系列初始定義的 LBP值，取其最小值作為該鄰域的 LBP值。

       圖 2.5 給出了求取旋轉不變的 LBP 的過程示意圖，圖中算子下方的數字表示該算子對應的 LBP值，圖中所示的 8種 LBP模式，經過旋轉不變的處理，最終得到的具有旋轉不變性的 LBP值為 15。也就是說，圖中的 8種 LBP 模式對應的旋轉不變的 LBP模式都是 00001111。

（3）LBP等價模式

       一個LBP算子可以產生不同的二進制模式，對於半徑為R的圓形區域內含有P個采樣點的LBP算子將會產生P²種模式。很顯然，隨着鄰域集內采樣點數的增加，二進制模式的種類是急劇增加的。例如：5×5鄰域內20個采樣點，有2²⁰＝1,048,576種二進制模式。如此多的二值模式無論對於紋理的提取還是對於紋理的識別、分類及信息的存取都是不利的。同時，過多的模式種類對於紋理的表達是不利的。例如，將LBP算子用於紋理分類或人臉識別時，常采用LBP模式的統計直方圖來表達圖像的信息，而較多的模式種類將使得數據量過大，且直方圖過於稀疏。因此，需要對原始的LBP模式進行降維，使得數據量減少的情況下能最好的代表圖像的信息。

        為了解決二進制模式過多的問題，提高統計性，Ojala提出了采用一種“等價模式”（Uniform Pattern）來對LBP算子的模式種類進行降維。Ojala等認為，在實際圖像中，絕大多數LBP模式最多只包含兩次從1到0或從0到1的跳變。因此，Ojala將“等價模式”定義為：當某個LBP所對應的循環二進制數從0到1或從1到0最多有兩次跳變時，該LBP所對應的二進制就稱為一個等價模式類。如00000000（0次跳變），00000111（只含一次從0到1的跳變），10001111（先由1跳到0，再由0跳到1，共兩次跳變）都是等價模式類。除等價模式類以外的模式都歸為另一類，稱為混合模式類，例如10010111（共四次跳變）（這是我的個人理解，不知道對不對）。

       通過這樣的改進，二進制模式的種類大大減少，而不會丟失任何信息。模式數量由原來的2^P種減少為 P ( P-1)+2種，其中P表示鄰域集內的采樣點數。對於3×3鄰域內8個采樣點來說，二進制模式由原始的256種減少為58種，這使得特征向量的維數更少，並且可以減少高頻噪聲帶來的影響。

 

2、LBP特征用於檢測的原理

       顯而易見的是，上述提取的LBP算子在每個像素點都可以得到一個LBP“編碼”，那么，對一幅圖像（記錄的是每個像素點的灰度值）提取其原始的LBP算子之后，得到的原始LBP特征依然是“一幅圖片”（記錄的是每個像素點的LBP值）。

        LBP的應用中，如紋理分類、人臉分析等，一般都不將LBP圖譜作為特征向量用於分類識別，而是采用LBP特征譜的統計直方圖作為特征向量用於分類識別。

       因為，從上面的分析我們可以看出，這個“特征”跟位置信息是緊密相關的。直接對兩幅圖片提取這種“特征”，並進行判別分析的話，會因為“位置沒有對准”而產生很大的誤差。后來，研究人員發現，可以將一幅圖片划分為若干的子區域，對每個子區域內的每個像素點都提取LBP特征，然后，在每個子區域內建立LBP特征的統計直方圖。如此一來，每個子區域，就可以用一個統計直方圖來進行描述；整個圖片就由若干個統計直方圖組成；

        例如：一幅100*100像素大小的圖片，划分為10*10=100個子區域（可以通過多種方式來划分區域），每個子區域的大小為10*10像素；在每個子區域內的每個像素點，提取其LBP特征，然后，建立統計直方圖；這樣，這幅圖片就有10*10個子區域，也就有了10*10個統計直方圖，利用這10*10個統計直方圖，就可以描述這幅圖片了。之后，我們利用各種相似性度量函數，就可以判斷兩幅圖像之間的相似性了；

 

3、對LBP特征向量進行提取的步驟

（1）首先將檢測窗口划分為16×16的小區域（cell）；

（2）對於每個cell中的一個像素，將相鄰的8個像素的灰度值與其進行比較，若周圍像素值大於中心像素值，則該像素點的位置被標記為1，否則為0。這樣，3*3鄰域內的8個點經比較可產生8位二進制數，即得到該窗口中心像素點的LBP值；

（3）然后計算每個cell的直方圖，即每個數字（假定是十進制數LBP值）出現的頻率；然后對該直方圖進行歸一化處理。

（4）最后將得到的每個cell的統計直方圖進行連接成為一個特征向量，也就是整幅圖的LBP紋理特征向量；

然后便可利用SVM或者其他機器學習算法進行分類了。

 ===========================================================================

人臉識別之LBP (Local Binary Pattern)

1.算法簡介

　　LBP是一種簡單，有效的紋理分類的特征提取算法。LBP算子是由Ojala等人於1996年提出的，主要的論文是"Multiresolution gray-scale and rotation invariant texture classification with local binary patterns", pami, vol 24, no.7, July 2002。LBP就是"local binary pattern"的縮寫。

　　關於論文的講解可參考鏈接　　http://blog.sina.com.cn/s/blog_916b71bb0100w043.html

　　從紋理分析的角度來看，圖像上某個像素點的紋理特征，大多數情況下是指這個點和周圍像素點的關系，即這個點和它的鄰域內點的關系。從哪個角度對這種關系提取特征，就形成了不同種類的特征。有了特征，就能根據紋理進行分類。LBP構造了一種衡量一個像素點和它周圍像素點的關系。　

 

 

　　對圖像中的每個像素，通過計算以其為中心的3*3鄰域內各像素和中心像素的大小關系，把像素的灰度值轉化為一個八位二進制序列。具體計算過程如下圖所示，對於圖像的任意一點Ic，其LBP特征計算為，以Ic為中心，取與Ic相鄰的8各點，按照順時針的方向記為 I0,I1,...,I7；以Ic點的像素值為閾值，如果 Ii 點的像素值小於Ic，則 Ii 被二值化為0，否則為1；將二值化得到的0、1序列看成一個8位二進制數，將該二進制數轉化為十進制就可得到Ic點處的LBP算子的值。
　　基本的LBP算子只局限在3*3的鄰域內，對於較大圖像大尺度的結構不能很好的提取需要的紋理特征，因此研究者們對LBP算子進行了擴展。新的LBP算子LBP（P,R） 可以計算不同半徑鄰域大小和不同像素點數的特征值，其中P表示周圍像素點個數，R表示鄰域半徑，同時把原來的方形鄰域擴展到了圓形，下圖給出了四種擴展后的LBP例子，其中，R可以是小數，對於沒有落到整數位置的點，根據軌道內離其最近的兩個整數位置像素灰度值，利用雙線性差值的方法可以計算它的灰度值。

　　LBP(P,R)有2^p個值，也就是說圖像共有2^p種二進制模型，然而實際研究中發現，所有模式表達信息的重要程度是不同的，統計研究表明，一幅圖像中少數模式特別集中，達到總模式的百分之九十左右的比例，Ojala等人定義這種模式為Uniform模式，如果一個二進制序列看成一個圈時，0-1以及1-0的變化出現的次數總和不超過兩次，那么這個序列就是Uniform模式 ，比如，00000000、00011110、00100001、11111111，在使用LBP表達圖像紋理時，通常只關心Uniform模式，而將所有其他的模式歸到同一類中。

人臉圖像的各種LBP模式如下圖所示，由圖中可以看出，變化后的圖像和原圖像相比，能更清晰的體現各典型區域的紋理，同時又淡化了對於研究價值不大的平滑區域的特征，同時降低了特征的維數。比較而言，Uniform模式表現的更逼真，在人臉識別和表情識別應用中，都是采用這種模式。

 

　　在表情識別中，最常用的是把LBP的統計柱狀圖作為表情圖像的特征向量。為了考慮特征的位置信息，把圖像分成若干個小區域，在每個小區域里進行直方圖統計，即統計該區域內屬於某一模式的數量，最后再把所有區域的直方圖一次連接到一起作為特征向量接受下一級的處理。

　　LBP算子利用了周圍點與該點的關系對該點進行量化。量化后可以更有效地消除光照對圖像的影響。只要光照的變化不足以改變兩個點像素值之間的大小關系，那么LBP算子的值不會發生變化，所以一定程度上，基於LBP的識別算法解決了光照變化的問題，但是當圖像光照變化不均勻時，各像素間的大小關系被破壞，對應的LBP模式也就發生了變化。

　　如果圖像旋轉了，那么紋理特征就旋轉了，這時得到的2進制串也就旋轉了，LBP值會相應變化。為了讓LBP具有旋轉不變性，將二進制串進行旋轉。假設一開始得到的LBP特征為10010000，那么將這個二進制特征，按照順時針方向旋轉，可以轉化為00001001的形式，這樣得到的LBP值是最小的。無論圖像怎么旋轉，對點提取的二進制特征的最小值是不變的，用最小值作為提取的LBP特征，這樣LBP就是旋轉不變的了。當P=8時，能產生的不同的二進制特征數量是2^8個，經過上述表示，就變為36個。(我以為應當是2^8/8=32個)

代碼：

code1：原始（正方形）LBP代碼

lbpI=imread('D:/picture/lenagray.jpg')
I = imresize(lbpI,[256 256]);
[m,n,h] = size(I);
if h==3
    I = rgb2gray(I);
end
lbpI = uint8(zeros([m n]));
for i = 2:m-1
    for j = 2:n-1
        neighbor = [I(i-1,j-1) I(i-1,j) I(i-1,j+1) I(i,j+1) I(i+1,j+1) I(i+1,j) I(i+1,j-1) I(i,j-1)] > I(i,j);
        pixel = 0;
        for k = 1:8
            pixel = pixel + neighbor(1,k) * bitshift(1,8-k);
        end
        lbpI(i,j) = uint8(pixel);
    end
end
imshow(lbpI)

 

code2:圓形（旋轉不變性）LBP代碼

 

%2017-05-12   學習LBP特征  

 clc;
 clear;

%讀圖操作
img=imread('D:/picture/lenagray.jpg');
[m,n]=size(img);
subplot(121);
imshow(img,[]);
title('原圖');
%%
%求旋轉不變LBP
img_LBP_ri=zeros(m,n);
for i=2:m-1
   for j=2:n-1 
       
       code=zeros(1,8);    %行向量，原始LBP特征編碼
       code(1)=img(i-1,j-1)>img(i,j);
       code(2)=img(i-1,j)>img(i,j);
       code(3)=img(i-1,j+1)>img(i,j);
       code(4)=img(i,j+1)>img(i,j);
       code(5)=img(i+1,j+1)>img(i,j);
       code(6)=img(i+1,j)>img(i,j);
       code(7)=img(i+1,j-1)>img(i,j);
       code(8)=img(i,j-1)>img(i,j);
       for p=1:8
           img_LBP_ri(i,j)=img_LBP_ri(i,j)+code(p)*2^(8-p);     %從左上角開始，順時針編碼
       end
       
       %循環左移,移動k位相當於把開頭的k個數放到最右邊
       for k=1:7
           code=[code(k+1:end) code(1:k)];    %移位之后的二進制編碼，右移表達式 code=[code(end-k+1:end) code(1:end-k)]
           temp=0;
           for p=1:8
               temp=temp+code(p)*2^(8-p);
           end
           if temp<img_LBP_ri(i,j)    %取旋轉之后的最小值
               img_LBP_ri(i,j)=temp;
           end
       end
       
   end
end

subplot(122)
imshow(img_LBP_ri,[]);
title('旋轉不變性LBP');

 

 

 

code3:正方形圓形對比LBP

#include "opencv2/core/core.hpp"



#include "opencv2/highgui/highgui.hpp"



#include <iostream>

#include <fstream>

#include <sstream>



using namespace cv;

using namespace std;



void elbp(Mat& src, Mat &dst, int radius, int neighbors)

{



    for (int n = 0; n < neighbors; n++)

    {

        // 采樣點的計算

        float x = static_cast<float>(-radius * sin(2.0*CV_PI*n / static_cast<float>(neighbors)));

        float y = static_cast<float>(radius * cos(2.0*CV_PI*n / static_cast<float>(neighbors)));

        // 上取整和下取整的值

        int fx = static_cast<int>(floor(x));

        int fy = static_cast<int>(floor(y));

        int cx = static_cast<int>(ceil(x));

        int cy = static_cast<int>(ceil(y));

        // 小數部分

        float ty = y - fy;

        float tx = x - fx;

        // 設置插值權重

        float w1 = (1 - tx) * (1 - ty);

        float w2 = tx * (1 - ty);

        float w3 = (1 - tx) *      ty;

        float w4 = tx * ty;

        // 循環處理圖像數據

        for (int i = radius; i < src.rows - radius; i++)

        {

            for (int j = radius; j < src.cols - radius; j++)

            {

                // 計算插值

                float t = static_cast<float>(w1*src.at<uchar>(i + fy, j + fx) + w2 * src.at<uchar>(i + fy, j + cx) + w3 * src.at<uchar>(i + cy, j + fx) + w4 * src.at<uchar>(i + cy, j + cx));

                // 進行編碼

                dst.at<uchar>(i - radius, j - radius) += ((t > src.at<uchar>(i, j)) || (std::abs(t - src.at<uchar>(i, j)) < std::numeric_limits<float>::epsilon())) << n;

            }

        }

    }

}



void elbp1(Mat& src, Mat &dst)

{



    // 循環處理圖像數據

    for (int i = 1; i < src.rows - 1; i++)

    {

        for (int j = 1; j < src.cols - 1; j++)

        {

            uchar tt = 0;

            int tt1 = 0;

            uchar u = src.at<uchar>(i, j);

            if (src.at<uchar>(i - 1, j - 1) > u) { tt += 1 << tt1; }

            tt1++;

            if (src.at<uchar>(i - 1, j) > u) { tt += 1 << tt1; }

            tt1++;

            if (src.at<uchar>(i - 1, j + 1) > u) { tt += 1 << tt1; }

            tt1++;

            if (src.at<uchar>(i, j + 1) > u) { tt += 1 << tt1; }

            tt1++;

            if (src.at<uchar>(i + 1, j + 1) > u) { tt += 1 << tt1; }

            tt1++;

            if (src.at<uchar>(i + 1, j) > u) { tt += 1 << tt1; }

            tt1++;

            if (src.at<uchar>(i + 1, j - 1) > u) { tt += 1 << tt1; }

            tt1++;

            if (src.at<uchar>(i - 1, j) > u) { tt += 1 << tt1; }

            tt1++;



            dst.at<uchar>(i - 1, j - 1) = tt;// 更正，之前是dst.at<uchar>(i,j)=tt;

        }

    }

}



int main()

{

    Mat img = cv::imread("D:/picture/lenagray.jpg", 0);

    namedWindow("image");

    imshow("image", img);



    int radius, neighbors;

    radius = 1;

    neighbors = 8;



    //創建一個LBP圖譜

    Mat dst = Mat(img.rows - 2 * radius, img.cols - 2 * radius, CV_8UC1, Scalar(0));

    elbp1(img, dst);

    namedWindow("normal");

    imshow("normal", dst);



    Mat dst1 = Mat(img.rows - 2 * radius, img.cols - 2 * radius, CV_8UC1, Scalar(0));

    elbp(img, dst1, 1, 8);

    namedWindow("circle");

    imshow("circle", dst1);

    cv::waitKey(0);

}

 

reference：https://www.cnblogs.com/nsnow/p/4461998.html