圖像預處理
更多精彩內容請關注微信公眾號：聽潮庭。
寫在前面：
- 圖像顯示與存儲原理
- 圖像增強的目標
- 點運算：基於直方圖的對比度增強
- 形態學處理
- 空間與處理：卷積
- 卷積的應用（平滑、邊緣檢測、銳化等）
- 頻率域處理：傅里葉變換，小波變換
- 應用案例：平滑、邊緣檢測、CLAHE等
一、顏色空間
1、RGB顏色空間
- 加法混色（越疊加越白：255，255，255=白色），彩色顯示
- 3個通道 (后面提到一張圖片有三個維度，長，寬和通道（r，g，b）)
- Red通道
- Green通道
- Blue通道
- 一個像素顏色值
- （b,g,r）
- 取值范圍
- [0, 255]
- [0.0, 1.0]
2、CMYK顏色空間
- 減法混色，多用於印刷
- 4通道
- Cyan通道
- Magenta通道
- Yellow通道
- Key通道
- 一個像素顏色值
- （c,y,m,k）
- 取值范圍
- [0, 255]
- [0.0, 1.0]
3、HSV顏色空間
- 人類視覺概念，畫家配色
- 3各要素
- H/Hue：色調，顏色種類
- S/Saturation：飽和度，顏色的純度
- V/Value：明度，顏色明亮度
- 一個像素顏色值
- （h，s，v）
- 取值范圍
- [0, 255]
- [0.0, 1.0]
4、CIE-XYZ顏色空間
- 國際照明協會，1931
- 基於人類顏色視覺的直接測定
- 其他顏色空間基礎
- 人類視覺系統-視錐細胞
- 短波（S，420-440nm）
- 中波（M，530-540nm）
- 長波（L，560-580nm）
- 3色刺激值通道
- X，Y，Z約略對應於紅色，綠色，藍色
- 一種波的刺激等於幾種波的混合刺激
二、圖片存儲原理
1、主流顏色空間
-
RGB三通道彩色圖
- 圖片->3維矩陣（[0,255]）
-
單通道灰度圖
- 亮度信息[0,255]
- Gray=R×0.3+G×0.59+B×0.11（常用的圖片灰度化轉換公式）
三、圖像增強的目標
- 改善圖像的視覺效果
- 轉換為更適合人或機器分析處理的形式
- 突出對人或機器分析有意義的信息
- 抑制無用信息，提高圖像的使用價值
- 具體包括圖像銳化，平滑，去噪，灰度調整（對比度增強）
四、圖像處理的方法
1、特征提取方法
-
直方圖Histogram
- 對圖片數據/特征分布的一種統計
- 灰度、顏色
- 梯度/邊緣、形狀、紋理
- 局部特征點、視覺詞匯
- 區間bin
- 具有一定的統計或物理意義
- 一種數據或特征的代表
- 需要預定義或基於數據進行學習
- 數值是一種統計量：概率、頻數、
- 對數據空間bin進行量化
- 對圖片數據/特征分布的一種統計
-
直方圖均衡化
- 直方圖均衡化是指：利用圖像直方圖對對比度進行調整德方法
- 直方圖均衡化通常用來增加許多圖像的局部對比度，尤其是當圖像的有用數據的對比圖相當接近的時候
- 直方圖均衡化以后，亮度可以更好的在直方圖上分布。這樣就可以用於增強局部的對比度而不影響整體的對比度，直方圖均衡化通過有效的擴展常用的亮度來實現這種功能
- 直方圖均衡化：實質上是對圖像進行非線性拉伸
- 重新分配各個灰度單位中的像素點數量，是一定的灰度范圍像素點數量的值大致相等
-
自適應直方圖均衡
- 直方圖均衡的經典算法對整幅圖像的像素使用相同的變換，如果圖像中包括明顯亮的或者暗的區域，則經典算法有限
- 自適應直方圖均衡（AHE）算法通過對局部區域進行直方圖均衡，來解決上述問題；
- 移動模板在原始圖片上按特定步長滑動
- 每次移動后，模板區域內做直方圖均衡，映射后的結果賦值給模板區域內所有點
- 每個點會有多次賦值，最終的取值為這些賦值的均值。
-
CLAHE
- AHE會過度放大圖像中相對均勻區域的噪聲，可采用限制對比度自適應直方圖均衡（CLAHE）。
- 與普通自適應直方圖均衡相比，CLAHE的不同地方在於直方圖修剪過程，用修剪后的直方圖均衡圖像時，圖像對比度會更自然
等面積挪到下面墊高- 如下圖
- 小黑點的灰度直接由映射函數計算得到
- 粉色區域內點的灰度由映射函數計算得到
- 綠色區域內點的灰度由相鄰兩塊灰度映射值線性插值得到
- 其他區域所有點的灰度由相鄰四塊的灰度映射值雙線性插值而得、
- CLAHE算法步驟
- 1、圖像分塊，以塊為單位
- 2、先計算直方圖，然后修建直方圖，最后均衡
- 3、遍歷操作各個圖像塊，進行塊間雙線性插值
- 4、與原圖做圖層綠色混合操作。（可選）
-
形態學運算
- 開運算：先腐蝕在膨脹，可以去掉目標外的孤立點
- 閉運算：先膨脹再腐蝕，可以去掉目標內的孔
- 通常，當有噪聲的圖像用閾值二值化后，所得到的邊界是很不平滑的，物體區域具有一些錯判的孔洞，背景區域散布着一些小的噪聲物體，連續的開和閉運算可以顯著的改善這種情況
-
空間域處理及其變換
- 濾波/卷積
- 在每個圖片位置（x，y）上進行基於鄰域的函數計算
- 濾波函數->權重相加
- 卷積核、卷積模板
- 濾波器、濾波模板
- 掃描窗
- 濾波函數->權重相加
- 不同功能需要定義不同的函數
- 平滑/去噪
- 梯度/銳化
- 邊緣、顯著點、紋理
- 模式檢測
- 在每個圖片位置（x，y）上進行基於鄰域的函數計算
- 參數解釋
- x,y是像素在圖片中的位置/坐標
- k,l是卷積核中的位置/坐標，中心點的坐標是（0，0）
- f(k,l)是卷積核中在（k,l）上的權重參數
- I(x+k,y+l)是與f(k,l)相對應的圖片像素值
- h(x,y)是圖片中(x,y)像素的濾波/卷積結果
- 邊界填充（Padding） 將卷積核的中心對上頂點
- 獲得同尺寸輸出的情況下
- 卷積核越大，補充越多
- 補充類型
- 補零（zero-padding） 目前用的最多
- 邊界復制（replication）
- 鏡像（reflection）
- 塊復制（wraparound）
- 濾波/卷積
-
均值濾波
-
平滑均值濾波/卷積
-
3*3
-
掃描步長：1
-
邊框補零
-
-
均值濾波本身存在缺陷，既沒有很好的去除噪聲點，也破壞了圖像的細節反而使圖像變得模糊
-
奇數尺寸：3×3、5×5，7×7，2n-1×2n-1
-
參數和為：1
-
-
-
-
-
平滑中值濾波/卷積
- 奇數尺寸：3×3、5×5，7×7，2n-1×2n-1
- 操作原理：
- 卷積域內的像素值從小到大排序
- 取中間值作為卷積輸出
- 有效去除椒鹽噪聲
- 將領域矩陣中的N個像素進行排序，並將這個矩陣的中心點賦值為這N個像素的中值
-
平滑高斯濾波/卷積
-
奇數尺寸：3×3、5×5，7×7，2n-1×2n-1
-
模擬人眼，關注中心區域
-
有效去除高斯噪聲
-
參數
- x,y是卷積參數坐標
- 標准差σ /`sigma/
- 人眼特性：離關注中心越遠，感受精度越模糊
- σ 越小 關注區域越集中
- 分解特性（級聯高斯）
- 2D卷積拆分成兩個相同的ID卷積
- 列卷積
- 行卷積
- 降計算
- 2D卷積：K×K次計算
- 2×1D卷積：2K次計算
-
- 2D卷積拆分成兩個相同的ID卷積
-
-
梯度Prewitt濾波/卷積
- 水平梯度/垂直邊緣 梯度：某一函數在該點處的方向導數
- 垂直梯度/水平邊緣
-
梯度Laplacian濾波/卷積
- 二階微分算子
- 一階導數極值
- 作用
- 團塊檢測：周邊高於（低於）中心點
- 邊緣檢測：像素值快速變化的區域
-
- Laplacian濾波器條件，相加等於0；
- Laplacian濾波銳化
- 二階微分算子
-
其他濾波/銳化
- 左移位濾波
- 銳化
- 左移位濾波
