一、前言
二值圖像，顧名思義就是圖像的亮度值只有兩個狀態：黑(0)和白(255)。二值圖像在圖像分析與識別中有着舉足輕重的地位，因為其模式簡單，對像素在空間上的關系有着極強的表現力。在實際應用中，很多圖像的分析最終都轉換為二值圖像的分析，比如：醫學圖像分析、前景檢測、字符識別，形狀識別。二值化+數學形態學能解決很多計算機識別工程中目標提取的問題。
二值圖像分析最重要的方法就是連通區域標記，它是所有二值圖像分析的基礎，它通過對二值圖像中白色像素（目標）的標記，讓每個單獨的連通區域形成一個被標識的塊，進一步的我們就可以獲取這些塊的輪廓、外接矩形、質心、不變矩等幾何參數。
下面是一個二值圖像被標記后，比較形象的顯示效果，這就是我們這篇文章的目標。
二、連通域
在我們討論連通區域標記的算法之前，我們先要明確什么是連通區域，怎樣的像素鄰接關系構成連通。在圖像中，最小的單位是像素，每個像素周圍有8個鄰接像素，常見的鄰接關系有2種：4鄰接與8鄰接。4鄰接一共4個點，即上下左右，如下左圖所示。8鄰接的點一共有8個，包括了對角線位置的點，如下右圖所示。
如果像素點A與B鄰接，我們稱A與B連通，於是我們不加證明的有如下的結論：
如果A與B連通，B與C連通，則A與C連通。
在視覺上看來，彼此連通的點形成了一個區域，而不連通的點形成了不同的區域。這樣的一個所有的點彼此連通點構成的集合，我們稱為一個連通區域。
下面這符圖中，如果考慮4鄰接，則有3個連通區域；如果考慮8鄰接，則有2個連通區域。（注：圖像是被放大的效果，圖像正方形實際只有4個像素）。
三、連通區域的標記
連通區域標記算法有很多種，有的算法可以一次遍歷圖像完成標記，有的則需要2次或更多次遍歷圖像。這也就造成了不同的算法時間效率的差別，在這里我們介紹2種算法。
第一種算法是現在matlab中連通區域標記函數bwlabel中使的算法，它一次遍歷圖像，並記下每一行（或列）中連續的團（run）和標記的等價對，然后通過等價對對原來的圖像進行重新標記，這個算法是目前我嘗試的幾個中效率最高的一個，但是算法里用到了稀疏矩陣與Dulmage-Mendelsohn分解算法用來消除等價對，這部分原理比較麻煩，所以本文里將不介紹這個分解算法，取而代這的用圖的深度優先遍歷來替換等價對。
第二種算法是現在開源庫cVBlob中使用的標記算法，它通過定位連通區域的內外輪廓來標記整個圖像，這個算法的核心是輪廓的搜索算法，這個我們將在文章中詳細介紹。這個算法相比與第一種方法效率上要低一些，但是在連通區域個數在100以內時，兩者幾乎無差別，當連通區域個數到了10 3 數量級時，上面的算法會比該算法快10倍以上。
四、基於行程的標記
我們首先給出算法的描述，然后再結合實際圖像來說明算法的步驟。
1，逐行掃描圖像，我們把每一行中連續的白色像素組成一個序列稱為一個團(run)，並記下它的起點start、它的終點end以及它所在的行號。
2，對於除了第一行外的所有行里的團，如果它與前一行中的所有團都沒有重合區域，則給它一個新的標號；如果它僅與上一行中一個團有重合區域，則將上一行的那個團的標號賦給它；如果它與上一行的2個以上的團有重疊區域，則給當前團賦一個相連團的最小標號，並將上一行的這幾個團的標記寫入等價對，說明它們屬於一類。
3，將等價對轉換為等價序列，每一個序列需要給一相同的標號，因為它們都是等價的。從1開始，給每個等價序列一個標號。
4，遍歷開始團的標記，查找等價序列，給予它們新的標記。
5，將每個團的標號填入標記圖像中。
6，結束。
我們來結合一個三行的圖像說明，上面的這些操作。
第一行，我們得到兩個團：[2,6]和[10,13]，同時給它們標記1和2。
第二行，我們又得到兩個團：[6,7]和[9,10]，但是它們都和上一行的團有重疊區域，所以用上一行的團標記，即1和2。
第三行，兩個：[2,4]和[7,8]。[2,4]這個團與上一行沒有重疊的團，所以給它一個新的記號為3；而[2,4]這個團與上一行的兩個團都有重疊，所以給它一個兩者中最小的標號，即1，然后將（1，2）寫入等價對。
全部圖像遍歷結束，我們得到了很多個團的起始坐標，終止坐標，它們所在的行以及它們的標號。同時我們還得到了一個等價對的列表。
下面我們用C++實現上面的過程，即步驟2，分兩個進行：
1）fillRunVectors函數完成所有團的查找與記錄；
void fillRunVectors(const Mat& bwImage, int& NumberOfRuns, vector<int>& stRun, vector<int>& enRun, vector<int>& rowRun)
{
for (int i = 0; i < bwImage.rows; i++)
{
const uchar* rowData = bwImage.ptr<uchar>(i);
if (rowData[0] == 255)
{
NumberOfRuns++;
stRun.push_back(0);
rowRun.push_back(i);
}
for (int j = 1; j < bwImage.cols; j++)
{
if (rowData[j - 1] == 0 && rowData[j] == 255)
{
NumberOfRuns++;
stRun.push_back(j);
rowRun.push_back(i);
}
else if (rowData[j - 1] == 255 && rowData[j] == 0)
{
enRun.push_back(j - 1);
}
}
if (rowData[bwImage.cols - 1])
{
enRun.push_back(bwImage.cols - 1);
}
}
}
//fillRunVectors
2）firstPass函數完成團的標記與等價對列表的生成。相比之下第二個函數要稍微難理解一些。
void firstPass(vector<int>& stRun, vector<int>& enRun, vector<int>& rowRun, int NumberOfRuns,
vector<int>& runLabels, vector<pair<int, int>>& equivalences, int offset)
{
runLabels.assign(NumberOfRuns, 0);
int idxLabel = 1;
int curRowIdx = 0;
int firstRunOnCur = 0;
int firstRunOnPre = 0;
int lastRunOnPre = -1;
for (int i = 0; i < NumberOfRuns; i++)
{
if (rowRun[i] != curRowIdx)
{
curRowIdx = rowRun[i];
firstRunOnPre = firstRunOnCur;
lastRunOnPre = i - 1;
firstRunOnCur = i;
}
for (int j = firstRunOnPre; j <= lastRunOnPre; j++)
{
if (stRun[i] <= enRun[j] + offset && enRun[i] >= stRun[j] - offset)
{
if (runLabels[i] == 0) // 沒有被標號過
runLabels[i] = runLabels[j];
else if (runLabels[i] != runLabels[j])// 已經被標號
equivalences.push_back(make_pair(runLabels[i], runLabels[j])); // 保存等價對
}
}
if (runLabels[i] == 0) // 沒有與前一列的任何run重合
{
runLabels[i] = idxLabel++;
}
}
}
//firstPass
接下來是我們的重點，即等價對的處理，我們需要將它轉化為若干個等價序列。比如有如下等價對：
(1,2),(1,6),(3,7),(9-3),(8,1),(8,10),(11,5),(11,8),(11,12),(11,13),(11,14),(15,11)
我們需要得到最終序列是：
list1: 1-2-5-6-8-10-11-12-13-14-15
list2: 3-7-9
list3: 4
一個思路是將1-15個點都看成圖的結點，而等價對（1，2）說明結點1與結點2之間有通路，而且形成的圖是無向圖，即（1，2）其實包含了（2，1）。我們需要遍歷圖，找出其中的所有連通圖。所以我們采用了圖像深入優先遍歷的原理，進行等價序列的查找。
從結點1開始，它有3個路徑1-2，1-6，1-8。2和6后面都沒有路徑，8有2條路徑通往10和11，而10沒有后續路徑，11則有5條路徑通往5，12，13，14，15。等價表1查找完畢。
第2條等價表從3開始，則只有2條路徑通向7和9，7和9后面無路徑，等價表2查找完畢。
最后只剩下4，它沒有在等價對里出現過，所以單兒形成一個序列（這里假設步驟2中團的最大標號為15）。
下面是這個過程的C++實現，每個等價表用一個vector<int>來保存，等價對列表保存在map<pair<int,int>>里。
void replaceSameLabel(vector<int>& runLabels, vector<pair<int, int>>&
equivalence)
{
int maxLabel = *max_element(runLabels.begin(), runLabels.end());
vector<vector<bool>> eqTab(maxLabel, vector<bool>(maxLabel, false));
vector<pair<int, int>>::iterator vecPairIt = equivalence.begin();
while (vecPairIt != equivalence.end())
{
eqTab[vecPairIt->first - 1][vecPairIt->second - 1] = true;
eqTab[vecPairIt->second - 1][vecPairIt->first - 1] = true;
vecPairIt++;
}
vector<int> labelFlag(maxLabel, 0);
vector<vector<int>> equaList;
vector<int> tempList;
cout << maxLabel << endl;
for (int i = 1; i <= maxLabel; i++)
{
if (labelFlag[i - 1])
{
continue;
}
labelFlag[i - 1] = equaList.size() + 1;
tempList.push_back(i);
for (vector<int>::size_type j = 0; j < tempList.size(); j++)
{
for (vector<bool>::size_type k = 0; k != eqTab[tempList [j] - 1].size(); k++)
{
if (eqTab[tempList[j] - 1][k] && !labelFlag[k])
{
tempList.push_back(k + 1);
labelFlag[k] = equaList.size() + 1;
}
}
}
equaList.push_back(tempList);
tempList.clear();
}
cout << equaList.size() << endl;
for (vector<int>::size_type i = 0; i != runLabels.size(); i++)
{
runLabels[i] = labelFlag[runLabels[i]-1];
}
}
//replaceSameLabel
五、基於輪廓的標記
在這里我還是先給出算法描述：
1，從上至下，從左至右依次遍歷圖像。
2，如下圖A所示，A為遇到一個外輪廓點（其實上遍歷過程中第一個遇到的白點即為外輪廓點），且沒有被標記過，則給A一個新的標記號。我們從A點出發，按照一定的規則（這個規則后面詳細介紹）將A所在的外輪廓點全部跟蹤到，然后回到A點，並將路徑上的點全部標記為A的標號。
3，如下圖B所示，如果遇到已經標記過的外輪廓點A ′ ,則從A ′ 向右，將它右邊的點都標記為A ′ 的標號，直到遇到黑色像素為止。
4，如下圖C所示，如果遇到了一個已經被標記的點B，且是內輪廓的點(它的正下方像素為黑色像素且不在外輪廓上)，則從B點開始，跟蹤內輪廓，路徑上的點都設置為B的標號，因為B已經被標記過與A相同，所以內輪廓與外輪廓將標記相同的標號。
5，如下圖D所示，如果遍歷到內輪廓上的點，則也是用輪廓的標號去標記它右側的點，直到遇到黑色像素為止。
6，結束。
所以總結起來，這個算法步驟非常簡單：
1）找到所有外輪廓及與之對應的內輪廓（如果有的話），並給輪廓上的點標上標號。
2）遍歷標記的圖像，如果這個點在原來二值圖像上為白色點，且在標記圖像上沒有標記過，則給它一個標號且等於它左邊點的標號。
顯然，這個算法的重點在於輪廓的查找與標記，而對於輪廓的查找，就是確定搜索策略的問題，我們下面給內輪廓與外輪廓定義tracker規則。
我們對一點像素點周圍的8個位置作一個記號，對於外輪廓上的點A，如果它是起始點，則從位置7開始按順時針方向查找，直到遇到白色像素，則按那個方向搜索一步。如果不是起始點，那它有一個進入點位置（路徑傳過來的位置）N，我們則從d+2(mod8) 的位置開始搜過，直到遇到白色像素點為止，確定為下一步的方向，這里可能從哪里進來，還從那個方向出去。
這里特別要做的一步是，一個點在它周圍搜索過程中，在找到白色的路上，把它們都標記為負值，說明已經搜索過。
如下邊中間圖像所示，從S點開始形成的路徑是STUTSVWVS。最右邊圖像顯示了P點的搜索路徑，完成搜索后，輪廓點的周圍都被標記為了負值。
在OpenCV中查找輪廓的函數已經存在了，而且可以得到輪廓之間的層次關系。這個函數按上面的算法實現起來並不困難，所以這里就不再實現這個函數，有興趣的可以看OpenCV的源碼（contours.cpp）。
void bwLabel(const Mat& imgBw, Mat & imgLabeled)
{
// 對圖像周圍擴充一格
Mat imgClone = Mat(imgBw.rows + 1, imgBw.cols + 1, imgBw.type(), Scalar(0));
imgBw.copyTo(imgClone(Rect(1, 1, imgBw.cols, imgBw.rows)));
imgLabeled.create(imgClone.size(), imgClone.type());
imgLabeled.setTo(Scalar::all(0));
vector<vector<Point>> contours;
vector<Vec4i> hierarchy;
findContours(imgClone, contours, hierarchy, CV_RETR_CCOMP, CV_CHAIN_APPROX_NONE);
vector<int> contoursLabel(contours.size(), 0);
int numlab = 1;
// 標記外圍輪廓
for (vector<vector<Point>>::size_type i = 0; i < contours.size(); i++)
{
if (hierarchy[i][3] >= 0) // 有父輪廓
{
continue;
}
for (vector<Point>::size_type k = 0; k != contours[i].size(); k++)
{
imgLabeled.at<uchar>(contours[i][k].y, contours[i][k].x) = numlab;
}
contoursLabel[i] = numlab++;
}
// 標記內輪廓
for (vector<vector<Point>>::size_type i = 0; i < contours.size(); i++)
{
if (hierarchy[i][3] < 0)
{
continue;
}
for (vector<Point>::size_type k = 0; k != contours[i].size(); k++)
{
imgLabeled.at<uchar>(contours[i][k].y, contours[i][k].x) = contoursLabel[hierarchy[i][3]];
}
}
// 非輪廓像素的標記
for (int i = 0; i < imgLabeled.rows; i++)
{
for (int j = 0; j < imgLabeled.cols; j++)
{
if (imgClone.at<uchar>(i, j) != 0 && imgLabeled.at<uchar>(i,j) == 0)
{
imgLabeled.at<uchar>(i, j) = imgLabeled.at<uchar>(i, j-1);
}
}
}
imgLabeled = imgLabeled(Rect(1, 1, imgBw.cols, imgBw.rows)).clone(); // 將邊界裁剪掉1像素
}
//bwLabel