為得到圖像中的物體信息，我們必須進行圖像分割，即提取圖像中與感興趣物體相對應的那些區域。描述的更正式些，分割操作——以一幅圖像作為輸入而返回一個或多個區域或亞像素輪廓作為輸出。
1. 閾值分割
最簡單的分割算法是圖像的闊值分割。只要被分割的物體和背景之間存在非常顯著的灰度差時，都能使用闡值分割。
固定闊值僅在物體的灰度值和背景的灰度值不變時效果很好。但是，這種情況發生的頻率比期望的要少，比如， 照明變化后物體和背景的灰度值就會發生變化。即便使用的照明是恆定不變的， 相似物體間不同的灰度值分布也會使固定闊值分割的結果不理想。
2. 自動確定閾值（動態閾值分割）
理想情況下我們希望有一種能夠自動確定閾值的方法， 這可以基於圖像的灰度值直方圖來實現。不幸的是直方圖中的隨機波動，兩個峰尖的最大值和它們之間谷底的最小值都不能被很好的確定。所以，如果希望以魯棒的方法選定與最小值對應的闊值，就必須先對直方圖進行平滑處理，即將直方圖與一個一維高斯濾披器進行平滑處理。
其中一種方法就是假設前景的灰度值和背景的灰度值有各自的正態（高斯）概率分布，然后在直方圖上擬合兩個高斯密度。閾值值就選定在兩個高斯密度概率相等的灰度值處。
動態闌值分割處理能被用來將圖像與圖像的局部背景進行對比，局部背景是由圖像平滑處理得到的。稍作調整，動態闊值分割處理就可以被用來檢測某一物體上的缺陸，比如，檢測印刷缺陷。
3. 提取連通區域
- 4連通域
- 8連通域
如果在上圖的例子中使用4連通定義描述背景，所有問題都迎刃而解了，同理如果4連通描述前景、8連通描述背景，所有矛盾也被避免了。
在用行程表示法描述的區域上計算連通區域，可以使用經典的深度優先搜索。
4. 亞像素精度閾值分割
到目前位置，我們已經討論的所有闌值分割處理都是像素精度的。在大多數情況下，這種精度是足夠的。但一些應用需要的准確度要高於像素級別。因此，有時需要能返回亞像素精度結果的算法。很顯然，亞像素精度闌值分割處理的結果不能是一個區域，因為區域是像素精度的。為此，表示結果的適當數據結構應是亞像素精度輪廓。
此輪廓表示圖像中的兩個區域之間的邊界，這兩個區域中的一個區域的灰度值大於灰度值閾值，另一個區域的灰度值小於灰度值閾值。
目前研究的亞像素級的邊緣檢測算法，可以歸納為3種類型：矩方法、插值法和擬合法。
4.1. 矩方法
Tabatabai等首先提出一種利用前三階灰度矩對邊緣進行亞像素邊緣定位的算法，隨后基於空間矩、Zernike正交矩的方法也相繼被提出。Zernike矩的方法由於只需要計算3個模板，計算量比空間矩的方法要小得多。但是，這些方法都是針對理想邊緣模型提出的。Shan等對矩方法進行了改進，使用了模糊邊緣模型，更能真實反映邊緣信息。矩方法的優點是計算簡便，並且可以得到解析解。但是矩方法對圖像噪聲敏感，如果考慮模糊后的邊緣模型，就會增加模型參數，使得解析解的確定變得十分困難。
4.2. 插值法
插值法的核心是對像素點的灰度值或灰度值的導數進行插值，增加信息，以實現亞像素邊緣檢測。其中，研究比較多的方法有二次插值、B樣條插值和切比雪夫多項式插值等。插值類的運算時間短，二次插值算法簡單，可以通過硬件實現，適合在線檢測。當光學系統的線擴散函數對稱時，插值邊緣檢測的精度較高。插值法的特點同基於矩的方法類似，計算過程簡單，但是容易受噪聲的影響。
4.3. 擬合法
擬合方法是通過對假設邊緣模型灰度值進行擬合來獲得亞像素的邊緣定位。Nalwa等給出一種邊緣模型為雙曲正切函數的最小二乘擬合算法；Ye等提出的算法所用的邊緣模型是理想邊緣模型與高斯函數卷積得到的高斯型邊緣函數。這兩種算法都能提供較高的亞像素邊緣定位精度。由於擬合不需要數值微分，而且按各灰度值到擬合曲線的距離最小進行擬合，不但合理地利用了有誤差的灰度值，又可以減小灰度值誤差的影響，因此擬合方法對噪聲不敏感。但因模型復雜，其求解速度慢。