Spatial Entropy-Based Global and Local Image Contrast Enhancement
摘要
該文章提出了一種利用像素空間信息增強輸入圖像對比度的方法。該算法是一種利用像素灰度空間分布計算像素空間熵的新方法。與傳統方法不同的是，該算法考慮的是圖像灰度空間位置的分布，而不是灰度分布或從圖像灰度計算出的聯合統計量。 對於每個灰度級，使用具有相同灰度級的所有像素的空間位置直方圖計算相應的空間分布。通過計算圖像灰度空間分布的熵值，得到一個分布函數，再將其映射成均勻分布函數，實現最終的對比度增強。 該方法在低對比度圖像的情況下實現了對比度的改善; 並且如果圖像的對比度足夠高，它不會改變圖像。因此，它總是在不失真的情況下產生令人愉悅的視覺效果。該方法與變換域系數加權相結合，實現了局部和全局對比度增強。局部對比度增強的程度是可以控制的。進行了若干對比增強效果的實驗。實驗結果表明，與現有的幾種增強算法相比，本文提出的算法能產生更好的增強圖像。
關鍵詞：對比度增強，空間熵，圖像質量增強，離散余弦變換。
1. 介紹
對比度增強是用來增加一個低動態范圍的圖像的對比度或顯示圖像細節，否則將被隱藏的[1]。由於灰度差異，增強后的圖像在質量上看起來比原來的圖像要好。對象和背景之間的對比度增加。它通常被用作大多數圖像處理/計算機視覺算法的預處理。
一般來說，設計一種無視覺偽影的對比度增強方法是比較困難的。考慮到這一點，我們提出了一種全局的、計算效率高的空間對比度增強方法，該方法使用圖像的灰度空間位置進行增強，而不是直接使用灰度或它們的共現。 一張圖片的灰度空間位置分布的互信息用於獲得一個函數，該函數進一步映射到均勻分布以實現對比度增強。 提出的全局對比度增強算法命名為“基於空間熵的對比度增強(SECE)”。 SECE在沒有任何參數選擇的情況下產生自然的全局對比度增強效果。 此外，與原始直方圖相比，該算法沒有改變處理后的直方圖的信息結構。因此，考慮到原始圖像在沒有明顯失真的情況下有對比度改進的余地，它會產生自然的增強效果。 據我們所知，這是第一次提出這種新的空間熵定義並用於對比度增強。為了同時實現全局和局部的對比度增強，先對SECE全局增強的圖像的變換域(2D離散余弦變換形式(2D-dct))系數進行加權，然后進行逆變換(逆2D-DCT)以獲得全局和局部增強對比度的輸出圖像。 該方法能夠在不需要任何視覺偽影的情況下同時執行全局和局部對比度增強。這個算法被命名為“基於空間熵的DCT(SECEDCT)對比度增強”。SECEDCT是SECE的一般化形式，可以控制局部對比度增強的程度。因此，零水平的局部對比度增強將SECEDCT轉換為SECE。
論文組織如下。第二部分為相關工作的文獻綜述。第三部分給出了空間熵的一個新的定義，並介紹了提出的對比度增強算法。第四節用最先進的對比度增強算法對所提出的算法進行了定性和定量的比較。第五部分是本文的結論。
2. 相關工作
對比增強算法可根據應用於[2]的數據域分為兩大類: 1）變換域算法；2）圖像域算法。變換域算法將輸入圖像分解成不同的子帶，從而在全局或局部修改圖像數據[3]-[8]所需頻率分量的大小。 這些算法通過轉換適當的子帶和在適當的尺度上實現同時的全局和局部對比度增強。該算法計算復雜，為了避免圖像退化，需要對相關參數進行適當的設置。例如，中心環繞Retinex[3]算法是為了實現圖像的亮度和顏色恆常性而開發的，其中恆常性是指對顏色和亮度的感知不受空間顏色和光照的影響。 增強后的圖像具有不依賴於場景光照空間分布的壓縮動態范圍和顏色的優點。增強后的圖像具有不依賴於場景光照空間分布的壓縮動態范圍和顏色的優點。 然而，增強后的圖像可能會包含“光暈”現象，特別是沿着大型均勻區域之間的邊界。“變灰”也會發生，導致場景的圖像趨於中灰色。 在[4]-[6]中，提出了三種不同的變換域(離散余弦變換)對比度增強算法: a)對數變換his-togram matching (LTHM)， b)對數變換直方圖移位(LTHS)， c)對數變換直方圖整形使用高斯分布(LTHSG)。 一般情況下，變換域系數是根據變換域系數分布到目標分布的映射進行修正，然后進行反變換(反離散余弦變換)得到對比度增強圖像。 在LTHM中，目標分布是通過直方圖均衡化的輸入圖像的變換域系數分布得到的。輸入圖像的變換域系數分布的移位形式作為目標分布LTHSG的目標分布采用LTHS和一個均值和標准差的高斯分布。 后一種算法需要選擇直方圖移位參數和高斯分布的均值和標准差，這對計算有很大的要求。同時，LTHM是一個自由參數，其結果與其他[6]是可比較的。LTHM的目的是模擬直方圖均衡化的能力，而不受動態范圍過度擴展的副作用。 這種方法有一個明顯的優點，就是非常快，沒有內置的遞歸，這使得它成為一種簡單快速的基於變換直方圖的圖像增強解決方案。 但是，由於在變換域使用全局直方圖均衡化的圖像的直方圖作為目標直方圖，仍然可以觀察到全局直方圖均衡化所產生的視覺偽影。第二代小波也被用來產生沒有“光暈”偽影的增強圖像。 在基於邊緣避免小波的對比度增強算法(EAW)[8]中，對變換域的小波系數進行了修正，並應用逆變換得到對比度增強圖像。該方法通過適當的參數選擇，同時實現了全局對比度增強和局部對比度增強。
盡管變換域對比度增強算法在許多問題領域都顯示出良好的效果，但由於其計算性、內存和適當的參數設置要求，圖像域對比度增強算法得到了廣泛的應用。 增強圖像對比度的傳統方法是根據特定的目標直方圖來處理單個像素的灰度級。目前應用最廣泛的圖像域對比度增強算法global histogram equaliza- b0 (GHE)[1]采用輸入圖像直方圖的累積分布函數(CDF)與均勻分布的CDF匹配得到的輸入-輸出映射。 GHE雖然利用了圖像的可用動態范圍，但如果直方圖中有較大的峰值，則會過度增強圖像，導致圖像變得粗糙和 增強圖像的噪聲外觀。 為了解決上述問題，人們開發了局部直方圖均衡化(LHE)算法，如[9]。這些算法使用一個小窗口，在每個圖像像素上依次滑動，並且使窗口當前位置內像素的直方圖相等。除了計算方面的問題，LHE有時會過度增強圖像的某些部分和任何噪聲，並可能產生不希望的棋盤效果。人類視覺系統(HVS)也被用來緩解腦缺血再灌注的arti- facts和改善感知的對比度[10]-[12]。將圖像分割成三個區域將基於hvt的閾值化和圖像均衡化應用於每一段。經過處理的區域與一個加權相結合，以創建最終的增強圖像。 該算法的閾值和合並階段取決於幾個閾值，這些閾值必須由視覺觀察者和/或輸出圖像相對於參數的對比度度量的局部最小值仔細選擇。這些參數都是實值，選取它們的計算量很大，使得該算法難以應用。
GHE的計算效率促使研究人員創造方法來減輕其偽影。針對改進后的GHE[13] -[15]的幾種算法可以獲得滿意的對比度增強效果。GHE應用直方圖規范，通過適當地將圖像直方圖更改為所需的直方圖來獲得對比度增強。 他假設目標直方圖是均勻分布的。然而，GHE未能提供有效的直方圖規范。精確的his- togram specification (EHS)[13]保證了增強后得到的圖像直方圖幾乎完全符合要求。 然而，對於期望的直方圖並沒有任何明顯的選擇，大多被認為是單形式的。雖然EHS可以用來獲得均勻分布的輸出直方圖，但這並不能保證輸出不受視覺偽影的影響。 在[14]中進行直方圖均衡化之前，對原始圖像直方圖進行加權和閾值化處理。加權和閾值化是通過將原始圖像直方圖夾在一個上閾值和一個下閾值處，並使用帶索引的歸一化冪律函數轉換這些閾值之間的所有值來完成的。 我們將該算法稱為加權閾值直方圖均衡化。WTHE通過精心選擇的默認參數設置提供了令人滿意的增強。直方圖修改框架(HMF)[15]中的對比度增強使計算目標直方圖的參數化代價函數最小化。該代價函數由直方圖偏離原直方圖和均勻直方圖的最小的懲罰項和直方圖的平滑性組成。此外，邊緣信息被嵌入到成本函數中，以對區域邊界周圍的像素進行加權，從而解決噪聲和黑白拉伸[15]問題。不同的參數設置會導致不同的對比度增強。與WTHE相似，加權分布自適應伽馬校正(AGCWD)[16]通過加權分布對輸入直方圖進行修改，並利用伽馬校正對圖像進行自動增強，但是當輸入直方圖中出現高峰值時，該算法可能會導致圖像亮部的細節丟失。 利用高斯混合模型(GMM)將圖像的離散直方圖變換為連續分布，利用最終的GMM分量獲得輸入直方圖[17]的子區域。 將非線性映射應用於每個子區域以找到最終的轉換。雖然這一過程可能會導致感知對比度的改善，但算法的計算要求很高。
最近，一種利用每個像素的上下文信息來增強輸入圖像對比度的二維直方圖均衡化(2DHE)算法被提出。他為對比度增強開辟了一個不同的方向。該算法通過增加圖像中每個像素與相鄰像素之間的灰度差來改善圖像的對比度。 對於給定的圖像，像素與相鄰像素之間灰度差的模量是均勻分布的。 GHE是2DHE在上下文信息未被利用時的一個特例。2DHE中需要調整的參數是空間鄰域支持的大小，它為給定的增強圖像動態范圍提供上下文信息。之后，進一步改進了二維直方圖的思想，實現了上下文和變分對比度增強(CVC)[18]。通過最小化與二維輸入直方圖差異的Frobenius范數的參數化和，得到平滑的二維目標直方圖二維均勻分布直方圖。 對比度增強是通過將二維輸入直方圖的對角元素映射到二維目標直方圖的對角元素來實現的。雖然與參數相關的結果是令人滿意的，但是該方法在創建a時需要大量的計算二維直方圖。該方法進一步改進，以犧牲較高的計算成本[19]為代價，使考慮圖像不同因素的復雜目標函數最小化。
一般來說，基於二維直方圖的[2]、[18]、[19]方法產生的輸出結果比僅使用一維直方圖的方法產生的視覺失真更小。然而，創建一個二維的直方圖是需要計算的，這種需求隨着周圍[18]大小的增加呈指數增長。此外，上述方法都是在不考慮圖像對比度的情況下進行對比度增強的。這可能導致退化的對比度情況下，圖像有高的對比度。此外，大多數圖像處理/計算機視覺算法通常使用對比度增強方法作為預處理步驟，因此該算法應該能夠在其默認參數下提供令人滿意的結果。 雖然精心選擇的參數有助於產生滿意的結果，為上述增強算法，這些參數可能必須適應圖像的圖像。
3. 空間熵的對比度增強
A. 灰度全局對比度增強
1）問題定義：假定一張輸入圖像為 \(X=\{x(i, j) | 0 \leq i \leq H-1,0 \leq j \leq W-1\}\)，圖片大小為 \(H\times W\)，其中\(x(i,j)\in[0,\mathbb{Z}^{+}]\)，假定\(X\)有動態范圍\([x_d,x_u]\)，像素值\(x(i,j)\in[x_d,x_u]\)。 基於空間熵的對比度增強(SECE)算法的目標是生成看起來自然的增強圖像 \(Y=\{y(i,j)|0\leq i \leq H-1,0 \leq j \leq W-1\}\) 。 \(Y\)的動態范圍可以拉伸或壓縮到區間內\([y_d,y_u]\)，其中 \(y(i,j)\in [y_d,y_u]\)，\(y_d<y_u\)和\(\{y_d,y_u\}\in[0,\mathbb{Z}^+]\)。 在這項工作中，增強圖像利用了整個動態范圍 ：例如對於8位圖像\(y_d=0\)，\(y_u=2^8-1=255\)。
2） 灰度圖像的空間直方圖 ：將 \(\mathcal{X}=\left\{x_{1}, x_{2}, \ldots, x_{K}\right\}\) 作為圖像 \(X\) 存在的 \(K\) 個灰度級的集合，其中 \(x_1<x_2<...<x_k\)， 計算 \(X\) 的空間網格上灰度級 \(x_k\) 的二維空間直方圖為:
其中 \(m,n\in \mathbb{Z}^+\)，\(h_k(m,n)\in[0,\mathbb{Z}^+]\) 是在空間網格中定位在圖像區域 \([(m-1)\frac{H}{M},m\frac{H}{M}]]\times [(n-1)\frac{W}{N},n\frac{W}{N}]\) 灰度 \(x_k\) 出現的次數。二維直方圖上的網格總數為 \(MN\) ，利用不同灰度級的個數 \(K\) 和比率 \(r=\frac{M}{N}=\frac{H}{W}\):
其中符號 \(\left\lfloor . \right\rfloor\) 表示取最近的整數，在形成灰度 \(x_k\) 的二維空間直方圖 \(h_{k}\) 時，在空間網格上保護原始圖像的長寬比。這樣在形成二維空間直方圖時，可以保護像素的空間特征。
3) 空間熵與分布函數: 根據二維空間直方圖 \(h_{k}\)，計算灰度級 \(x_{k}\) 的熵測度 \(s_{k}\) :
公式3可以用來計算離散函數 \(f_k\) :
離散函數 \(f_{k}\) 衡量的是灰度 \(x_{k}\) 相對於其余的灰度級 \(x_l, l\neq k, l=1,...,K\) 的相對重要性， 對離散函數 \(f_k\) 進一步歸一化:
累積分布函數 \(F (k)\) 定義如下:
4) 映射函數: 利用累積分布函數 \(F_k\)，將 \(x_k\) 映射到 \(y_k\):
B. 灰度全局和局部的對比度增強
SECE是為全局對比度增強而設計的，因此一個單一的傳遞函數應用於整個圖像。該算法對輸出圖像進行對比度增強，且不產生明顯的失真。為了實現全局和局部對比度增強，我們開發了一種自動算法(SECEDCT)，該算法同時使用SECE全局對比度增強算法和2D-DCT局部對比度增強算法。SECEDCT算法流程如圖2所示。該算法由以下步驟組成，具體如下: 使用SECE進行全局對比度增強、二維離散余弦變換(2D-DCT)，變換域系數加權，以及二維離散余弦變換反變換。
SECEDCT在2D-DCT的變換域中進行操作。該算法首先使用SECE進行全局對比度增強，然后進行2D-DCT變換[1]。圖片 \(X=\{x(i, j) | 0 \leq i \leq H-1,0 \leq j \leq W-1\}\) 的二維離散余弦變換產生的相同大小的變換圖片\(D=\{d(k,l)|0 \leq k \leq H-1, 0 \leq l \leq W-1\}\) :
其中 \(c_k\) 和 \(c_l\) 如下定義：
指標 \(k\) 和 \(l\) 的高值代表高頻率分量，反之亦然。為了增加局部對比度，需要增加更高的頻率變換系數。從而對變換域系數 \(d (k,l)\) 進行修正:
其中 \(w(k,l)\in \mathbb{R}\)為加權系數，加權系數為更高的頻率分配更高的系數，反之亦然，定義如下:
在 \(\alpha >= 1.0\) 代表增強。\(\alpha\) 的值越高，局部增強程度也就越高。然而，$\alpha $ 值越高也導致像素飽和。因此一個自動選擇 $ \alpha $ 是很重要的。在該算法中，$ \alpha $ 根據公式（5）熵估計計算如下：
其中 \(\gamma \in[0,1]\) 決定局部對比度增強的程度 ，例如當 \(\gamma=0\) 時，只有全局增強沒有局部增強， 因此輸出將與SECE的輸出完全相同。 為最大化局部增強,可以選擇 \(\gamma = 1\)。值得注意的是 \(w(0,0) = 1\)，這保證了圖像的平均值不會發生顯著變化。\(\gamma = 0.5\) 的默認值是用於這項工作除非另有說明。
將變換域系數按公式式(10)加權后，應用2D-DCT反變換[1]得到全局增強圖像和局部增強圖像 \(Y=\{y(i,j)|0\leq i \leq H-1,0 \leq j \leq W-1\}\) :
SECEDCT是SECE的廣義版本，當 \(\alpha= 1\), 以及 \(\gamma= 0\) 被選中時, \(w (k, l)\) 對於所有 \((k,l)\) 成為 1 和變換域系數保持不變。因此，SECEDCT將生成與輸入圖像相同的輸出圖像，而輸入圖像只不過是經過SECE算法增強的圖像。換句話說，\(\gamma= 0\) 意味着只有全局增強但沒有局部增強。
圖1是一個灰度圖像的例子，由GHE和所提出的方法以及相應的直方圖產生的增強，如圖1所示。從圖像中可以看出，GHE對輸入圖像進行了過度增強，同時SECE對輸出圖像進行了自然增強。相應的直方圖顯示，SECE生成的輸出直方圖保留了輸入直方圖的形狀，輸出直方圖延伸在整個動態范圍內。 因此，它適合於自然地尋找對比度增強，只要輸入沒有失真。很明顯，SECEDCT既能產生全局增強，也能產生局部增強。SECEDCT提供的關於SECE的局部增強圖是清晰的。 而且， SECEDCT的直方圖顯示，它創建了一個可以占據整個動態范圍的增強圖像。
C. 顏色恢復
將對比度增強擴展到彩色圖像的一種方法是只將算法應用於彩色圖像的亮度分量（V），並保留彩色分量。選取HSV顏色空間[1]，彩色圖像增強實例如圖1所示。
4. 實驗結果
A. 數據集，算法和定量檢測
1）數據集和算法：我們使用來自幾個數據集的標准自然測試圖像。伯克利500圖像數據集（The Berkeley 500 image dataset）[20]是用來定性定量的評估和比較SECE和SECEDCT，與我們的執行GHE, EHS [13]， WTHE [14]，LTHM [4] - [6]，LTHS [4] - [6]， HMF [15]， CVC [18]， 2DHE [2]， AGCWD[16]。 對伯克利數據集[20]的500幅自然圖像進行了定量測量的顯著性檢驗。HMF的參數是通過最大化給定輸入圖像在視覺質量和定量測量方面的性能來設置的。對於EHS、CVC和2DHE，我們使用算法的默認參數設置。
對從“柯達時刻（Kodak Moment of the Day）”相冊[21]-[24]和CSIQ圖像數據庫[25]采集的圖像進行了視覺評估測試，該數據庫提供了不同類型失真的自然圖像。由於這項工作的范圍是對比度增強，帶有全局對比度衰減的圖像被選擇並用於定性評估。
2）量化方式： 評估圖像增強是不容易的，因為它很難量化 一個改善感知的圖像。然而，人們期望增強后的圖像的對比度增加，同時其相對於原始圖像的視覺感知不失真。因此，我們測量輸入和增強圖像的對比度，並期望增強圖像的對比度增加。同時，對原始圖像和增強圖像之間的視覺失真進行了測量，期望失真較小。
圖像的對比度可以用熵增強的期望度量[6]，[12]來測量。然而，我們觀察到\(EMEE\)對噪聲高度敏感，可能產生不正確的測量結果，與感知的對比度不匹配。因此，我們稍微修改了\(EMEE\)，並提出了梯度\(EMEG\)增強的期望方法。 將輸入圖像分成 \(k_1k_2\) 重疊子塊 \(X_{i,j}\)，大小為 \(w1\times w2\)。 \(EMEG\)計算為 :
其中 \(EMEG(X)\in[0,1]\)，\(\text{max}(.)\) 是選取最大值函數，\(X_{i,j}^{d_{x,h}}\) 和\(X_{i,j}^{d_{x,l}}\) 分別是在塊\(X_{i,j}\)的 \(x\) 方向的絕對值梯度的最大值和最小值。\(X_{i,j}^{d_{y,h}}\) 和\(X_{i,j}^{d_{y,l}}\) 分別是在塊\(X_{i,j}\)的 \(y\) 方向的絕對值梯度的最大值和最小值。\(\beta\) 是權重系數，\(\epsilon\) 是常量防止分母為0。不同的區塊大小 (即\(w1 \times w2\)) 得到不同的 \(EMEG\) 值，我們使用 \(w1 \times w2 = 8 \times 8\)。高對比度子塊的\(EMEG\) 值較高，而同質性子塊的 \(EMEG\) 值應接近於零。值得注意的是，\(EMEG\) 對噪音非常敏感。例如，如果該算法生成的輸出圖像在圖像的均勻區域上引入了噪聲，那么雖然輸出圖像看起來不自然，但其對應的 \(EMEG\) 值會很高。然而，對於對比度增強算法來說，它的期望至少是 \(EMEG (Y) > EMEG (X)\)。
利用梯度幅度相似度偏差(\(GMSD\))度量[26]來測量原始圖像和增強圖像的感知相似度。 \(GMSD\)是一種全參考的圖像質量評價方法，利用像素方向的梯度幅值相似度來捕獲圖像局部質量，計算總體梯度幅值相似度圖的標准差作為最終的圖像質量指標。\(GMSD\)是一種簡單而有效的方法，它優於目前最先進的全參考圖像質量評估方法[26]。\(GMSD\)值越低，原始圖像與增強圖像之間的失真越小。理想情況下，\(GMSD\)值在原始(\(X\))和增強之間 (\(Y\)) 期望 \(GMSD (X,Y)≈0\)。
B. 定性評估
首先，對灰度圖像進行定性評價。第一個測試圖像是 \(Order \space in \space Chaos\) [21]中的有序，不同算法的對比度增強結果如圖3所示。 這張照片顯示的是在中部的格倫沃斯山谷，馬匹正通過一條小溪集合海岸，新南威爾士州，澳大利亞[21]。輸入圖像具有足夠高的對比度，並且輸入圖像的灰度級覆蓋了整個動態范圍。 因此，對比度增強幅度不大。人們期望，在這種情況下，對比度增強算法應該能夠提供最小的變化量的輸入，因為感知的對比度足夠高。 從結果可以看出，幾乎所有的算法都實現了這一點。然而，人們也可以注意到，有一個輕微的過度增強的圖像的結果AGCWD和輕微的欠增強是由GHE和EHS引起的。由於GHE有輕微的欠增強，LTHM也有輕微的欠增強。主要是由輸入直方圖在灰度級“0”處的峰值引起的，該峰值使GHE的輸出直方圖向右移動，從而產生峰值出現在AGCWD直方圖的最右側。同時，其他算法的輸出直方圖也有輕微的偏移，在SECE和SECEDCT的輸出圖像上偏移最小。
第二個測試圖像是餓鵝圖像[22]，不同算法的對比增強結果如圖4所示。 從輸入圖像的直方圖中可以看出，圖像的灰度是在中距離處積累的，圖像具有對比度改進的余地。GHE和EHS算法實現對比度增強，然而，這伴隨着輸出圖像上較暗外觀的視覺假象。 這主要是由於輸入圖像的直方圖主要集中在動態范圍的中間值附近，而向中間值的較低方向發展的趨勢較大，從而導致圖像的某些區域的暗化和過度增強。這是GHE和EHS的一般行為。的直方圖加權緩解了的過增強效果從WTHE的結果中可以看出GHE和EHS，HMF, CVC和2DHE。這四種算法提高了輸入圖像的對比度，幾乎與輸出圖像及其相應的直方圖的對比度相同。 雖然與WTHE AGCWD提供了類似的結果,羥甲基糠醛,CVC和2她,不能在使用的整個動態范圍,因為原因,用於輸入的加權函數直方圖極限輸出的動態范圍圖像輸入圖像的灰度值的最大值,也就是236這個特殊的形象。
由於這個原因，它的對比度增強不夠強WTHE, HMF, CVC和2DHE。LTHM降低了由GHE引起的視覺變形水平，增加了局部對比度。然而，由於河引起的嚴重變形，LTHM也會在一些地區產生具有明顯的暗化效果。 LTHS產生稍好一些的結果，因為它將整個變換系數向右平移，這將導致在局部對比度增強的基礎上，平均強度的改善。同時，SECE提供了對比度增強，利用整個動態范圍，沒有任何視覺干擾。 輸入直方圖的形狀在輸出直方圖中得到體現，這意味着輸出圖像相對於輸入圖像具有最小程度的失真。SECEDCT在提供更高的局部對比度增強和全局對比度增強方面進一步提高了SECE算法的性能。此外，SECEDCT利用了整個動態范圍，從而獲得了更高的對比度。SECE和SECEDCT在輸出圖像上都提供了沒有任何視覺干擾的結果。
第三幅白色Ibis Flip[23]圖像如圖5所示，並結合不同算法的對比度增強結果。圖中，一只白色的朱鷺沿着耶蘇普湖的海岸線，用嘴叼着一只小龍蝦。從輸入圖像的直方圖可以看出，圖像主要由高灰度組成。大多數像素值是在灰度級240附近累積的。 與飢餓的鵝圖像一樣，這也是全局對比度增強方法的一個難點。從圖中可以看出，GHE和EHS的視覺表現最差，HMF和WTHE緊隨其后。該算法對輸入圖像直方圖進行加權和閾值化處理，提高了圖像質量。然而，仍然可以觀察到輕微的變黑效果。 由於CVC和2DHE使用的是加權的灰階共現，它們能夠產生令人滿意的結果。LTHM能夠減輕GHE的視覺偽影，並且LTHM也能夠產生令人滿意的結果。這兩種算法都能對圖像進行全局和局部對比度增強。SECE能夠在沒有視覺偽影的情況下產生對比度增強的圖像。 從SECE輸出圖像的直方圖可以看出，SECE能夠將灰度分布在動態范圍內，而輸入圖像的直方圖形狀並沒有明顯的變化。SECEDCT也能產生輸出，沒有明顯的視覺偽影，但改善了局部對比度。
圖片Portret Krowy[24]是來自波蘭的風景，如圖6所示。從輸入圖像的直方圖可以看出，大部分的灰度分布是相當均勻的。 算法實現對比度增強而不需要顯著的視覺偽影。 這些結果與以往的結果表明，這主要是由於當輸入圖像的灰度分布相當均勻時，算法的過程變為線性過程，使得輸入圖像的灰度與處理后的輸出圖像之間產生一一對應。 一對一的映射有助於在沒有重要的可視化工件的情況下生成輸出。然而，這並不是SECE和SECEDCT算法在沒有明顯視覺干擾的情況下產生輸出的必要條件。對於輸入圖像上不同類型的灰度分布，它們通常產生的輸出圖像沒有明顯的視覺偽影。
圖7所示的波士頓[25]彩色圖像的全局對比度衰減級別為“level 1”的結果表明，所有算法都實現了對輸入圖像的對比度增強。 然而，我們可以看到他和EHS結果的變暗效應。同時，簡單地對輸入直方圖進行加權的算法產生的輸出除了AGCWD之外沒有任何視覺扭曲。AGCWD不能簡單地使用整個動態范圍，因為映射函數將輸出灰度的最大值映射為輸入灰度的最大值233。 CVC和2DHE能夠通過增強的輸出圖像產生令人滿意的輸出圖像。這主要是由於像素的灰度共生點均勻分布在輸入圖像上。變換域meth- ods LTHM和LTHS在輸入圖像的對比度水平上提供了顯著的改進。 與此同時, SECE 生成的輸出圖像沒有任何明顯的視覺失真，其直方圖與輸入直方圖形狀的相似性最大。SECEDCT進一步提高了局部對比度。
進一步的“級別2”和“級別3”的全局對比度衰減級別的圖像分別顯示在圖8和圖9[25]中。 從圖中可以看出，所有的算法都實現了對比度增強。然而，在低對比度圖像上，AGCWD的對比度增強水平始終低於其他算法。 這是由於在映射函數中使用了裁剪值。同時，在不考慮圖像灰度分布類型的情況下，利用SECE算法實現全局對比度增強。 這表明使用空間位置而不是直接的灰度級可以實現無偽影的對比度增強。此外，SECEDCT還實現了與SECE類似的無偽影增強，進一步提高了局部對比度。
C. 對比度增量的定量檢測
在本節中，我們使用了來自 \(CSIQ\) 圖像數據庫[25]的全局對比度衰減程度不同的圖像，來評估不同算法在視覺失真能力最小的情況下對比度的改善情況 。對於每個算法的結果，測量相應的 \(EMEG\) 和 \(GMSD\) 值，定量評估對比度增強和圖像失真的程度。測試的結果和相應的測量在圖10和表1中， \(GMSD\) 值在無失真的原始圖像(“0級”)和經過處理或全局對比度衰減的圖像之間進行測量。
在“3級”之后，由於全局對比度降低而出現明顯的失真。在此之前，所有的算法都能夠在沒有明顯視覺扭曲的情況下改善對比度。這也可以從測量的水平上看出 \(GMSD\)。然而，對比增強對 \(AGCWD\) 的結果影響最小。在“3級”之后，\(GHE\) 產生的結果是不能接受的。只對 \(SECE\) 和在 \(SECEDCT\) 中，原始圖像和增強圖像的對比度改善和失真水平在不同程度的衰減后幾乎保持不變。這表明，這兩種算法能夠對具有不同對比度衰減程度的圖像進行相似程度的對比度增強。
D. 定量評定
為了評估對比度增強算法對廣泛范圍圖像的性能，將其應用於500張伯克利圖像數據集[20]的作為測試圖像。 在原始圖像和增強圖像之間計算 \(EMEG\) 和 \(GMSD\) 測量值，以創建測量值集合。 該集合計算使用所有增強圖像 \(\{Y_i\}_{∀}\) 和相對應的原始圖像 \(\{X_i\}_{∀}\) 統計決定對比度增強算法是否符合期望的測量指標。 每個准則提出兩個假設: 原假設\(H0\) 和替代假設 \(H1\) 。非參數雙樣本Kolmogorov-Smirnov檢驗(KS-test)[27]用於拒絕其中一個假設。KS-test試圖通過分配一個 \(p\) 值來量化兩個數據集之間的邏輯關系\((=，>，<)\)，它的優點是不需要對數據的分布做任何假設。 \(p\) 值表示得到測試統計量的概率至少與零假設[27]下觀察到的概率一樣極端。 因此，\(p\) 值越高，零假設越強。\(p\) 值與\(%95\) 的顯著性水平一起使用時，如果 \(p< 0.05\), \(H_0\) 被拒絕，取而代之的是 \(H1\)。
為了檢驗算法相對於其他算法的相對對比度改進，我們使用雙樣本KS-test來檢驗以下假設:
其中，原假設H 0提出算法A產生的對比度比算法B高， \(\{EMEG(Y_i^{A})>EMEG(Y_i^{B})\}_{∀}\) ，在 \(Y_i^A\) 和 \(Y_i^B\) 分別是由算法 \(A\) 和算法 \(B\) 在輸入圖像 \(Xi\) 下的輸出圖像。 得到的 \(p\) 值如表2所示，其中Input指的是沒有任何處理的原始圖像。
在輸入圖像有改進余地的情況下，期望對比度增強算法能提高輸入圖像的對比度。 因此，至少可以預測增強后圖像的 \(EMEG\) 要高於原始圖像的 \(EMEG\)。式(15)中原假設的結果 \(p\) 值如表2的第一行所示。 根據95%的置信水平，所有的算法都拒絕 \(H0\)，即原始圖像的對比度低於不同算法的增強圖像的對比度。因此，統計上所有的算法都產生了比原始圖像對比度更高的圖像。
從表II中還可以清楚地看出，SECEDCT能提供最高的對比度增強，其次是LTHS、GHE、EHS和LTHM。這是轉換域算法的預期結果SECEDCT和LTHS可以同時進行全局增強和局部增強。並對其性能進行了分析緊隨LTHS之后的是GHE和EHS的性能，這兩種方法的運行方式幾乎相同，即使結果不相同，但結果相似。 由於LTHM是為了減少GHE的視覺偽影而設計的，所以它的輸出對比度比預期的GHE要低。SECEDCT，LTHS，EHS和LTHM在輸出圖像對比度方面優於其他算法。然而，正如在定性分析中所看到的，這並不總是意味着它們總是提供視覺上令人愉悅的結果。 SECEDCT算法是個例外。加工后的外觀觀察500幅圖像顯示，SECEDCT提高了輸入圖像的對比度，但沒有在輸出圖像上產生明顯的視覺偽影，而LTHS，GHE, EHS 和 LTHM並不總是這樣。 2DHE遵循SECEDCT，LTHS，GHE，EHS 和 LTHM。其次是HMF、WTHE、CVC、SECE和AGCWD。AGCWD提供最低水平的對比度增強。 AGCWD提供最低水平的對比度增強 。
然而，\(EMEG\) 的高水平並不一定意味着產生的輸出圖像沒有失真。為了檢驗不同對比度增強方法對圖像造成的失真，我們使用原始( \(X\) )和增強( \(Y\) )之間的 \(GMSD\) 值 \(GMSD (X,Y)\) 作為檢驗統計量，使用雙樣本KS-test對不同算法進行以下假設檢驗 :
在原假設 \(H0\) 中，算法 \(A\) 生成的輸出圖像的失真比算法 \(B\) 的要小，\(\left\{G M S D\left(\mathbf{X}_{i}, \mathbf{Y}_{i}^{A}\right)<G M S D\left(\mathbf{X}_{i}, \mathbf{Y}_{i}^{B}\right)\right\}_{\vee i}\) ，其中 \(Y_i^A\) 和 \(Y_i^B\) 分別是算法 \(A\) 和算法 \(B\) 的輸出圖像。 得到的 \(p\) 值如表3所示。有趣的是，SECEDCT提供了與所有算法相比更高的對比度， 與GHE相比，輸出圖像的失真更小，
EHS, WTHE, 2DHE, AGCW, LTHM, LTHS。同時，最小失真由SECE提供。
表2和表3的結果表明，雖然SECE算法提高了輸入圖像的對比度，但與其他算法相比，它對輸出圖像產生的視覺失真最小。
E. 對比度增強對目標識別的影響
對比度增強常被用作基於外觀的物體識別的預處理。然而，對比度增強算法的性能會影響目標識別過程。 為驗證效果，選取人臉為對象，對CMU PIE數據庫[28]對比度增強后的C27正面圖像進行人臉識別。人臉識別任務實現如下:對於數據庫中的每個受試者，將存儲一組訓練圖像(本例中為25張)。 訓練數據庫由一組特征向量表示，這些特征向量是用2DPCA計算得到的。每個訓練圖像被投影到特征向量上，並為每個受試者存儲一組投影向量。根據其投影向量與數據庫中被試投影向量之間的最小歐氏距離來識別查詢面。特征向量的數量決定了人臉識別率。
CMU PIE額面部(C27)數據庫[28]包含68名受試者的圖像，每個受試者提供49張不同光照和表情條件下的額面部圖像。所有圖像均為灰度，歸一化為64×64像素分辨率。 對於數據庫中的每個受試者，使用25張圖像進行培訓，其余24張圖像用於查詢(測試)圖像。因此，訓練樣本總數為1700個，測試樣本總數為1632個。表4的識別結果表明，SECE增強圖像的人臉識別效果最好，其次是SECEDCT增強圖像。 這表明SECE保留了圖像的整體內容。有趣的是，在大多數應用中，GHE都被用作大多數圖像處理/計算機視覺應用的預處理算法。然而，它大大降低了圖像的外觀，導致性能損失，這通常是被忽視的。
F. SECEDCT對比度增強的程度
SECEDCT是SECE的一個泛化版本，並且SECEDCT與的輸出完全相同為 $ \gamma= 0 $ 時被選中。$ \gamma $ 的值的增加也會增加的水平的局部對比度增強方法，反之亦然。盡管可以設置為$ \gamma=0.5 $ 作為默認值，可以進一步通過 \(\gamma\) 的值改變感知局部對比度的水平。
為了證明，定性和定量結果不同的 $ \gamma $ 值圖11所示。 結果表明，$ \gamma $ 的值的增加也會增加局部對比度的水平，\(EMEG\) 方法也是如此。局部對比度的增加會導致局部像素統計的變化。這將反映在原始(輸入)和處理后的圖像之間的\(GMSD\) 值上。 從測量結果可以看出，局部對比度增強程度越高，\(GMSD\) 值越高。然而，還可以注意到，即使在高水平的局部對比度增強方法實現 $ \gamma $ 的值高，視覺效果也沒有表現出顯著的扭曲。
G. 計算時間
算法的計算時間要求是一個重要的因素。在本節中，我們提供了不同對比度增強算法對Berkeley 500圖像數據集[20]的平均處理時間，該數據集由大小為321×481或481×321的圖像組成。所有算法在MATLAB R2013a中實現。測試是在一台運行12.0GB RAM和Intel(R) Core(TM) i5-3317U 1.70GHz CPU的64位Windows 7筆記本電腦上進行的。表5結果表明，與其他算法相比，LTHS的計算時間最短。這主要是由於LTHS只計算圖像的2D-DCT，移動變換域系數的直方圖，然后再取倒數2維變換。該算法能有效地計算二維- dct變換及其反變換，變換域直方圖的移位簡單易行。
5. 結論
在本文中，我們提出了一種計算效率高的全局對比度增強算法SECE，該算法利用輸入圖像的灰度空間位置分布來進行非線性數據映射，從而在不同類型的圖像上生成自然的增強效果。SECE既可以應用於灰度圖像，也可以應用於彩色圖像，並且不需要設置參數。根據實驗數據分析，該方法在提高圖像對比度的同時，對輸出圖像幾乎不產生視覺失真。SECE保留了輸入圖像的灰度直方圖，同時提高了對比度。這主要是因為SECE利用像素的空間位置信息，並據此找到一個非線性的映射。由於保留了輸入直方圖的形狀，這對於一些需要進行預處理的應用(如人臉識別)來說是至關重要的，因此SECE可以應用於這樣的需求。實驗結果還表明，SECE增強后的人臉識別結果比其他增強算法增強后的結果更好。
為了同時實現全局對比度增強和局部對比度增強而不產生視覺失真，提出了一種變換域算法SECEDCT。SECEDCT擴展了SECE，同時進行全局和局部對比增強。SECEDCT自動更新經過SECE增強的圖像的變換域系數。 它是SECE算法的一個廣義版本，由一個改變感知局部對比度的參數控制。將此參數設置為0，則SECEDCT變為SECE，在給定范圍內增加參數值，可提高圖像的局部對比度。
參考文獻
[1] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 3rd ed. Upper Saddle River, NJ, USA: Prentice-Hall, 2006.
[2] T. Celik, “Two-dimensional histogram equalization and contrast enhancement,” Pattern Recognit., vol. 45, no. 10, pp. 3810–3824, 2012.
[3] D. J. Jobson, Z.-U. Rahman, and G. A. Woodell, “A multiscale retinex for bridging the gap between color images and the human observation of scenes,” IEEE Trans. Image Process., vol. 6, no. 7, pp. 965–976, Jul. 1997.
[4] B. Silver, S. Agaian, and K. Panetta, “Contrast entropy based image enhancement and logarithmic transform coefficient histogram shifting,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process., vol. 2. Mar. 2005, pp. 633–636.
[5] B. Silver, S. Agaian, and K. Panetta, “Logarithmic transform coefficient histogram matching with spatial equalization,” Proc. SPIE, vol. 5817, pp. 237–249, May 2005.
[6] S. S. Agaian, B. Silver, and K. A. Panetta, “Transform coefficient histogram-based image enhancement algorithms using contrast entropy,” IEEE Trans. Image Process., vol. 16, no. 3, pp. 741–758, Mar. 2007.
[7] J. Mukherjee and S. K. Mitra, “Enhancement of color images by scaling the DCT coefficients,” IEEE Trans. Image Process., vol. 17, no. 10, pp. 1783–1794, Oct. 2008.
[8] R. Fattal, “Edge-avoiding wavelets and their applications,” ACM Trans. Graph., vol. 28, no. 3, pp. 1–10, 2009.
[9] T. K. Kim, J. K. Paik, and B. S. Kang, “Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering,” IEEE Trans. Consum. Electron., vol. 44, no. 1, pp. 82–87, Feb. 1998.
[10] E. Wharton, K. Panetta, and S. Agaian, “Human visual system-based image enhancement and logarithmic contrast measure,” Proc. SPIE, vol. 6497, 2007.
[11] E. Wharton, K. Panetta, and S. Agaian, “Human visual system based multi-histogram equalization for non-uniform illumination and shoadow correction,” in Proc. IEEE Int. Conf. Acoust., Speech Signal Process., vol. 1. Apr. 2007, pp. 729–732.
[12] K. Panetta, E. Wharton, and S. Agaian, “Human visual system-based image enhancement and logarithmic contrast measure,” IEEE Trans. Syst., Man, Cybern. B, Cybern., vol. 38, no. 1, pp. 174–188, Feb. 2008.
[13] D. Coltuc, P. Bolon, and J.-M. Chassery, “Exact histogram specification,” IEEE Trans. Image Process., vol. 15, no. 5, pp. 1143–1152, May 2006.
[14] Q. Wang and R. K. Ward, “Fast image/video contrast enhancement based on weighted thresholded histogram equalization,” IEEE Trans. Consum. Electron., vol. 53, no. 2, pp. 757–764, May 2007.
[15] T. Arici, S. Dikbas, and Y. Altunbasak, “A histogram modification framework and its application for image contrast enhancement,” IEEE Trans. Image Process., vol. 18, no. 9, pp. 1921–1935, Sep. 2009.
[16] S.-C. Huang, F.-C. Cheng, and Y.-S. Chiu, “Efficient contrast enhancement using adaptive gamma correction with weighting distribution,” IEEE Trans. Image Process., vol. 22, no. 3, pp. 1032–1041, Mar. 2013.
[17] T. Celik and T. Tjahjadi, “Automatic image equalization and contrast enhancement using Gaussian mixture modeling,” IEEE Trans. Image Process., vol. 21, no. 1, pp. 145–156, Jan. 2012.
[18] T. Celik and T. Tjahjadi, “Contextual and variational contrast enhancement,” IEEE Trans. Image Process., vol. 20, no. 12, pp. 3431–3441, Dec. 2011.
[19] C. Lee, C. Lee, and C.-S. Kim, “Contrast enhancement based on layered difference representation of 2D histograms,” IEEE Trans. Image Process., vol. 22, no. 12, pp. 5372–5384, Dec. 2013.
[20] P. Arbelaez, M. Maire, C. Fowlkes, and J. Malik, “Contour detection and hierarchical image segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 3, no. 5, pp. 898–916, May 2011.
[21] (Feb. 16, 2010). Kodak Moment of the Day. [Online]. Available: http://www.kodak.com
[22] (Jan. 6, 2011). Kodak Moment of the Day. [Online]. Available: http://www.kodak.com
[23] (Aug. 4, 2014). Kodak Moment of the Day. [Online]. Available: http://www.kodak.com
[24] (Jul. 11, 2014). Kodak Moment of the Day. [Online]. Available: http://www.kodak.com
[25] E. C. Larson and D. M. Chandler, “Most apparent distortion: Full-reference image quality assessment and the role of strategy,” J. Electron. Imag., vol. 19, no. 1, pp. 011006-1–011006-21, Mar. 2010.
[26] W. Xue, L. Zhang, X. Mou, and A. C. Bovik, “Gradient magnitude similarity deviation: A highly efficient perceptual image quality index,” IEEE Trans. Image Process., vol. 23, no. 2, pp. 684–695, Feb. 2014.
[27] D. J. Sheskin, Handbook of Parametric and Nonparametric Statistical Procedures, 4th ed. London, U.K.: Chapman & Hall, 2007.
[28] T. Sim, S. Baker, and M. Bsat, “The CMU pose, illumination, and expression database,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 25, no. 12, pp. 1615–1618, Dec. 2003.
[29] J. Yang, D. Zhang, A. F. Frangi, and J.-Y. Yang, “Two-dimensional PCA: A new approach to appearance-based face representation and recognition,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 26, no. 1, pp. 131–137, Jan. 2004.