不良照明條件下的夜晚圖像增強方法研究

📎7-不良照明條件下的夜晚圖像增強方法研究.pdf

圖像存在的問題

• 夜間圖像亮度低
• 對比度低
• 細節紋理不清晰
• 噪聲高，分布復雜
• 存在色彩偏差

 

研究目的

• 提升圖像亮度
• 抑制噪聲放大
• 矯正色彩偏差

 

 

主要研究內容

第一部分

• 針對夜間圖像亮度和可見度低的問題，提出優化Retinex模型的夜間圖像增強方法

• 反轉的夜晚圖像和濃霧圖像具有極其相似的亮度直方圖分布

• 大氣值設置為翻轉夜間圖像最亮值
• 設計保持邊緣的多尺度濾波方法計算投射函數，用來簡化大氣散射光照模型

---》最終實現夜晚圖像的實時增強，有效抑制增強結果出現細節丟失、亮度失真等過度增強現象。

 

第二部分

• 抑制圖像提升帶來的噪聲放大，提出基於多層圖像分解的夜間圖像增強方法

• 結構層
• 紋理層
• 噪聲層

---》能夠有效的提升夜晚圖像亮度，同時抑制噪聲

 

第三部分

• 針對色彩偏差，提出基於范數全變分模型的夜間圖像增強方法

 

第四部分

• 針對極低照度圖像，難以恢復缺失的細節信息，提出基於稠密連接網絡的夜間圖像增強方法

 

 

夜間圖像增強方法作用

夜晚圖像增強方法提升降質圖像的質量，即提升圖像的亮度和對比度，提高圖像內細節辨識度，保證增強結果的色彩真實程度，同時避免過度增強、光暈效應、噪聲放大等。

 

夜間圖像的特點

• 上圖的直方圖是白天
• 下圖的直方圖是夜間

1. 由於拍攝環境光源亮度不足，導致采集的圖像整體亮度偏低或極低，丟失細節信息
2. 由於光源分布和強度的問題，使得照明光難以均勻傳播到場景內的所有位置，導致采集到的夜晚圖像出現類似 High-Dynamic-Range（HDR）圖像的情況。

• HDR 圖像雖然也存在跨度很大的亮度分布，但是圖像中較暗區域的細節信息並不是丟失，且圖像的清晰度通常很高，不會受到噪聲的干擾。

• HDR——即高動態范圍圖像(High-Dynamic Range，簡稱HDR)，相比普通的圖像，可以提供更多的動態范圍和圖像細節，根據不同的曝光時間的LDR(Low-Dynamic Range)圖像，利用每個曝光時間相對應最佳細節的LDR圖像來合成最終HDR圖像，能夠更好的反映出真實環境中的視覺效果。

• 夜間圖像的光源並不像 HDR 圖像中的光源具有很高的強度和輻射范圍，這讓獲得的夜晚圖像的質量遠低於HDR 圖像，包含更多的噪聲干擾，

3.夜晚光源的種類復雜，很多光源產生的照明光都帶有顏色，如鹵素燈、鈉燈、霓虹燈等等

4.夜晚圖像因為照明不足的緣故，通常包含分布復雜、種類繁多的噪聲。當照明光暗淡時，攝像設備難以捕捉物體表面的反射光，使拍攝的圖像內包含大量的隨機噪聲，即使人為提升曝光時間和相機感光度（ISO 值），也會在成像設備產生大量噪聲。在夜晚圖像中常見的噪聲有脈沖噪聲、讀出噪聲、散粒噪聲、暗電流噪聲、固定模式噪聲和各種隨機噪聲。在提升夜晚圖像亮度的同時，噪聲也隨之放大

5.傳統方法效果不佳

 

夜間圖像增強方法研究現狀

基於底層圖像處理的夜晚圖像增強方法

• 全局夜間圖像增強算法

• 使用線性函數提升圖像亮度

• 不考慮圖像亮度的空間分布，致使出現過飽和現象

• 使用非線性擬合函數
• 全局直方圖均衡化

• 局部夜間圖像增強算法

• 局部直方圖均衡化
• 滑動窗口策略

• 圖像分塊算法，不重疊
• 滑動窗口重疊算法
• 滑動窗口部分重疊算法

• 圖像全局增強和局部增強算法結合

• 通過變換色彩空間，分別處理圖像的亮度、飽和度和對比度等信息，使用全局色調映射、局部色調映射、全局與局部直方圖處理等方法組合在一起，構建復雜的色彩與亮度調整方法

缺點

傳統的線性、非線性方法只能增強圖像特定特征，容易降低其他方面的顯示效果，例如出現色彩失真或細節丟失等。

基於物理模型的夜晚圖像增強方法

問題場景

• 夜晚場景光照來源復雜，既包含微弱的自然光照（如月光、星光等），又有人造光源產生光照（如路燈、車燈等）。
• 當場景內不存在人造光源時，自然光照產生的光線通常很微弱，即場景內物體表面接受到的可見光的平均面積上的光通量（簡稱照度）很小，產生的反射光被普通攝像設備捕捉成像，這樣生成的夜晚圖像亮度很低，
• 但是由於人造光源的光線輻射強度不及太陽光照，只能影響局部場景，造成了采集的夜晚圖像亮度分布不均勻，亮度較暗區域可見度低，細節損失嚴重，而光源附近區域亮度很高，細節信息也會被掩蓋，使夜晚圖像的亮度分布近似質量降低的 HDR 圖像，不利於后續使用。

解決問題方法

• 基於一個觀察，即低照度和光照不均夜晚圖像的反轉圖像的亮度分布與濃霧天氣采集的圖像的亮度分布及其相似，采用 Retinex 模型、暗通道先驗和大氣散射光照模型增強夜晚圖像，提升夜晚圖像的質量。

Retinex理論

• Retinex 理論是人類視覺的一種顏色感知模型，反映人類色覺的基礎機制，既取決於視網膜感光細胞（Retina）的捕捉，也取決於這些信號在大腦皮層（Cortex）的解釋。其基本思想是人感知到某點的顏色和亮度並不僅僅取決於該點進入人眼的絕對光線，還和其周圍的顏色和亮度有關。
• Retinex 理論基礎是物體顏色由物體對不同波長光線的反射能力決定，而非反射光線的強度，物體的色彩不會被光照的非均勻性影響，具有一致性，即Retinex 以顏色恆常性為基礎。在 Retinex 模型當中，光照強度和物體顏色時不相關的。

Retinex優點

Retinex 模型可以在多任務中達到平衡，同時兼顧動態范圍壓縮、邊緣增強、亮度和對比度增強及顏色恆常幾個方面達到平衡，可以適應不同類型的圖像進行自適應性的增強。

公式推導

I = S ∙ R [R]

• I 表示人眼或攝像設備能接收到的反射光圖像，
• S 表示入射光圖像強度決定了圖像像素值能達到的動態范圍，反映場景內光照信息，因此也被稱為照度分量（或照明圖，Illumination map），

• 要想准確的估計照明圖只能依靠計算像素本身和圖像中其它像素的關系。
• 照明圖為灰度圖
• 得到的圖像的亮度則受到照明圖的影響，部分區域變暗。

• R 表示場景內物體的反射性質圖像，這是物體的固有屬性，不隨光照的變化而改變，也被稱為反射圖（Reflectance map）。

• 色彩信息都包含在反射圖中

原理

如果能夠准確分離 S 和 R，那么通過調整 S 的強度，就可以實現對 I 的亮度提升。

 

基於 Retinex 模型的圖像增強算法

基於圖像塊的 Retinex 算法

• 是對 Retinex模型最簡單、最直接的應用。
• 基於光照平滑變化這一假設，研究者認為圖像塊中心像素和周圍區域應該具有相同或相近的照度值，可以通過比較去除光照的影響。
• Jobson 等提出了單尺度 Retinex 算法（Single Scale Retinex, r = log(I) − log(S) = log(I) − log(𝐹 ∗ I) [R]

   

  r=logR,r為輸出結果，𝐹為卷積核，∗表示卷積操作，log(𝐹 ∗ I)用來平滑反射圖像以模擬照度圖。

  log(𝐹 ∗ I) = log(𝐹 ∗ (S ∙ R)) = log(S ∙ (𝐹 ∗ R)) [R]

  

  

  SSR原理

  • SSR 通過圖像塊內像素亮度的相互對比去除了光照影響，在光照平滑變化的情況下能夠保持色彩恆常。

  SSR缺點

  • 但是因為高斯核的尺度會影響最終的增強結果，過大或過小的高斯濾波核會導致增強不足或曝光過度；
  • 另外高斯濾波不具備邊緣保持的特性，容易在亮度較高區域出現光暈現象，影響增強圖像的質量。
  • SSR算法雖然提升了圖像的亮度，但是圖像質量遭受了嚴重的損失，細節破壞嚴重；

   

  MSR優點

  • 研究者提出多尺度 Retinex 算法(Multi scale Retinex, MSR)來解決單一尺度高斯核無法保證增強圖像質量的問題。
  • MSR 算法能夠同時保持圖像質量和對圖像的動態范圍壓縮。

  MSR公式

  【R】

  

  MSR缺點

  • 但是上述 Retinex 算法都基於初始光照圖像平滑變化，即 S 是平滑的。
  • 在實際情況中，亮度相差較大的區域邊緣處，往往光照並不平滑，這樣Retinex 算法產生的結果會出現光暈現象。
  • MSR 大幅度的提升了圖像對比度和局部亮度，但是不難發現得到的增強結果局部信息丟失，圖像失真嚴重。

  MSRCR提出原因

  • MSR在處理有噪聲干擾的圖像時，會導致局部細節色彩失真，使結果的整體視覺效果變差。

  MSRCR原理

  • Rahman 等提出了帶色彩恢復的 MSR 算法（Multi scale Retinex with color restoration，MSRCR），在 MSR 算法的基礎上，增加了色彩恢復因子 C 來調節由圖像局部區域對比度變化導致的色彩失真。
  • 還有一些 MSRCR 算法的變種算法分別針對彩色圖像色彩偏差問題和光照不均的問題。
  • MSRCR 能夠保持增強圖像的自然性，圖像亮度分布更合理。

  

  MSRCR公式

  【R】

  

  基於PDE 的 Retinex 算法

  原理

  在照明光應該平滑變化的先驗假設下，照明圖 S 應該處處平滑，即 S 內所有位置的偏導數應該為一個很小值，而反射圖 R 對應物體對光線的反射能力，只有在兩個物體間存在變化，即同一場景內單一物體表面的反射率不變，只在邊緣出有較大變化。基於這一思想，可以得出一個近似的泊松方程。

  公式

  

  

  求解泊松方程

   

  • Horn 等使用迭代策略求解該泊松方程。
  • 而 Blake 等對這一方法進行了改進，使用梯度算子代替拉普拉斯算子表示亮度的變化，更貼近 Retinex模型本身的物理意義。
  • Ma 等分析基於 PDE 的 Retinex 算法發現，其本質可以視為一個優化問題，可以通過最小化𝐿2范數或𝐿1范數函數求反射圖 R，可以表示為下式所示：

  

  

  

  基於路徑的 Retinex 算法

  

   

  基於變分模型的 Retinex 算法

  原理

  • 在夜晚圖像增強的過程中，圖像中的噪聲會降低增強結果的圖像質量，特別是隨着亮度的提升噪聲也被放大，這時就需要一種算法能夠抑制噪聲放大的產生。

  求解變分模型思路

  • 將 Retinex理論和全變分模型結合在一起，能夠融合一些假設和先驗為全變分模型增加約束項，在滿足 Retinex 理論的大前提下，針對現實問題增加具體限制條件，最小化Retinex的變分形式。
  • 先計算照明圖，再平滑處理反射圖【基於圖像分解的夜間圖像增強方法】

  基於大氣散射光照模型進行夜晚圖像增強的方法

  原理

  大氣散射光照模型一般用於描述有霧天氣和水下環境光線的傳播過程，認為拍攝設備采集的圖像質量降低，是由場景內物體反射光在傳播過程中被傳播路徑內存在的微粒吸收散射和光照在傳播介質中散射的背景光影響造成的。

  圖像特點

  即夜晚圖像反轉之后的像素值直方圖分布與濃霧天氣的圖像像素直方圖分布及其相似

  公式

  將圖像降質過程建立成數學模型，

  I = J ∙ t + A ∙ (1 − t)

  • I表示觀察或拍攝到的質量降低的圖像，
  • J表示在正常光照條件下場景內物體反射光得到的圖像，即本文需要得到的清晰圖像。
  • A稱作大氣光，表示場景內的全局光照，一般是圖像中亮度最高的像素點的值，
  • t被稱作透射函數（也稱為透射圖），表示光線傳播過程中傳播介質對光線的散射和吸收能力，與物體到觀察者的距離有關，距離越遠，圖像質量降低越多，受到大氣光的干擾也越嚴重。

  

   

  

  暗通道先驗

  • 大氣散射光照模型描述了均勻光照場景內光線和傳播介質對圖像質量的影響，可以有效描述煙、霧、霾等天氣條件下圖像質量降低過程

  I = J ∙ t + A ∙ (1 − t)

  • 模型分為兩項：J ∙ t 稱為直接衰減（Direct attenuation），A ∙ (1 − t) 成為大氣光干擾（Airlight interference）。
  • 假設光線經過的傳播介質是同質（傳播介質分布均勻，對光線干擾能力與空間位置無關）時，其中的透射函數t表示為：

  

  • 式中，𝛽是大氣中傳播介質的散射系數，𝑑是場景內物體距離拍攝設備或觀察者的距離，也稱為場景深度。
  • 上式說明直接衰減中的場景反射光隨着場景深度的增加呈現出指數級衰減,是與圖像物體的場景深度相關的
  • 而通常自然環境內非邊緣區域的深度是穩定或平滑變化的，只有在物體邊緣才會發生大尺度的深度躍變時，透射函數的局部平滑假設才不成立，對於物體內的紋理變化和尺度較小的深度變化，與場景內整體的深度信息相比，對透射函數的影響可以忽略不記，

   

  • 但是使用大氣散射光照模型計算 J 是一個病態問題，為了求解這個問題，需要提供額外的場景信息或先驗增加約束以簡化求解難度，其中最著名的先驗之一就是暗通道先驗。

  求解

  將這個先驗引入大氣散射光照模型中，假設大氣光A已知（事實上，估計大氣光的值相對簡單），透射圖t能夠直接計算得到，那么清晰圖像J也就能夠直接計算得出，降低了求解病態問題的難度。

  暗通道先驗理論

  • 暗通道先驗（Dark channel Prior）是基於統計意義上的觀測得到的自然圖像先驗。
  • 暗通道值可以定義為一定大小的圖像塊內，RGB 色彩通道中灰度值的最小值。使用暗通道值代替圖像塊的中心像素的灰度值，得到的灰度圖像可以稱為暗通道圖。

  

  求解夜間反轉圖像Ire

  首先，反轉夜晚圖像就是計算當前圖像和像素取值空間的最大值之間的差，作為反轉圖像。本文將輸入夜晚圖像的取值范圍規定為[0,1]，則計算反轉圖像的方式為

  

  

  暗通道圖的計算方式

  • 本文更改了暗通道圖的計算方式。為了避免塊效應的產生,本文設計了邊緣保持的多尺度中值濾波器代替局部最小亮度值的計算
  • 在計算初始的暗通道圖時，本文松弛了暗通道先驗的約束，避免邊緣區域出現塊效應。
  • 初始暗通道圖的計算方式

  

  暗通道圖的處理

  • 平滑暗通道圖，中值濾波
  • 進一步平滑暗通道圖，使用圖像局域標准差（Local standard deviation，LSD）表示圖像局部紋理信息。從𝐷m內移除這些紋理，得到的暗通道圖更加平滑。

  

  

  • 在最后增加一步閾值操作，降低過高的暗通道圖的值

  

  

   

   

   

   

  求解大氣光值A

  • 大氣光A通常采用場景內的最高亮度值
  • 在圖像去霧方法中，也有采用最高亮度值乘以一定系數作為大氣光值

  常用方法：

  • 如采用 0.98 作為系數；
  • 抑或在使用暗通道圖的方法中，采用暗通道圖中最亮的 1000 個像素點對應的輸入圖像的最亮像素值作為大氣光值；
  • 也可以計算最亮的若干個像素點的值的均值作為大氣光值；
  • 或者使用最小化能量函數的形式來計算大氣光

  本文方法

  • 現象：夜晚圖像內總是存在若干極暗的圖像區域，而對應到反轉圖像時，這些圖像區域的亮度值就會很高，而在計算大氣光的值時，所取的像素點也總是在這些區域當中
  • 那么本文就采用最簡單的方式計算大氣光值，即取圖像亮度最高的像素點的值作為這張反轉夜晚圖像的大氣光值。

  

  • 基於視頻，可以使用逐幀累計大氣光值

  

  增強結果理論分析

  • 大氣散射光照模型中的未知量A和t都已經得到，直接帶入，就能夠計算得到反轉的增強結果

  

  • 然后反轉結果得到最終的增強圖像

  

  • 優化了 Retinex 模型在夜晚圖像增強任務中的應用方式。

  

   

  基於圖像分解的夜晚圖像增強方法

  • 根據現實世界的光線傳播性質，合理假設拍攝場景內光線平滑變化，即圖像內的照明圖是局部平滑的。這樣，就能夠通過對輸入圖像的平滑處理，得到照明圖。
  • 使用圖像分解方法計算照明圖也需要給出初始照明圖。
  • 要移除細節以保證照明圖的平滑，最直接的方法就是應用能夠保持邊緣的圖像濾波器。

  有兩種方法給出初始照明圖

  • （1）將圖像從 RGB 色彩空間映射到 HSV（Hue，Saturation, Value）色彩模型空間，然后提取明度 V 作為初始照明圖。
  • （2）計算 RGB 三個色彩通道之后的最大值構成初始照明圖。

   

  基於圖像融合的夜晚圖像增強方法

   

  • 融合不同種類的圖像也能夠提升夜晚圖像的質量
  • 融合不同時間段（白天清晰圖像&夜間模糊圖像）的圖像也能夠提升夜晚圖像的質量