Making a "Completely Blind" Image Quality Analyzer
質量評估大佬AC Bovik的作品,1200+引用。
目標問題:提出一些普適的、與主觀質量接近的客觀評估指標。普適意味着:無失真先驗。
背景:現有的普適NR-IQA方法需要訓練集(圖像包含預期的失真,且需要人類評分數據)。這種方法泛化能力差,且要求高。
解決思路:從自然圖像中獲取一些統計數據(natural scene statistic, NSS),用來刻畫圖像質量。即不再需要人類評分數據用於訓練。基於此的方法稱為Natural Image Quality Evaluator (NIQE)。
效果:與SOTA的、基於訓練的NR-IQA方法平起平坐。
意義:這種方法才是真正的blind。因為如果我們有合適的數據集,就說明我們對失真有了一定的預判,使得訓練集和測試集的失真模式是一致的。雖然測試階段是盲的,但訓練顯然非盲。
1. 技術細節
作者稱之為no reference opinion-unaware distortion-unaware IQA model。一句話概括:將一系列quality-aware的特征,用一個多元高斯(multivariate Gaussian MVG)模型進行建模。那么,有損圖像的質量就是其MVG 以及 自然圖像的MVG 的距離。
1.1 NSS特征
第一步,圖像歸一化:減去局部均值,除以標准差+1:
這一步即計算了本文選擇的NSS!根據參考文獻[10]【這個文獻很重要】,無損自然圖像的式(1)遵循高斯分布。如果是非自然圖像(如計算機渲染圖像)或受損圖像,那么分布就不像高斯分布。
注意:該指標在BRISQUE[3]中已經被用過。但BRISQUE方法沒有NIQE好?
1.2 選擇銳利塊來計算NSS
第二步,我們選擇塊,來計算以上的NSS。注意,我們只考慮那些顯著性高的區域,一般是銳利的區域[12]。前面我們計算了每個像素點鄰域的標准差,因此我們可以據此估算該區域的銳利程度:
如圖即選出的區域示例:
然后,我們簡單設一個閾值,該閾值為整個圖像峰值銳利度的75%。超過閾值即銳利塊,被選出計算NSS。
1.3 一張圖像得到36個特征
第三步,我們用零均值的廣義高斯分布(generalized Gaussian distribution, GGD)來建模自然圖像的NSS:
和[3]一樣,本文通過相鄰像素NSS的相乘,來檢測該NSS指標的異常。
建模時,我們考慮4個方向、2種塊的尺度。每一個GGD模型有4個參數,一共能產生36個特征。產生方法要看[3]。
1.4 用MVG建模這36個特征
第四步,我們用MVG建模自然圖像的這36個特征。
1.5 NIQE指標
最后,我們計算目標MVG和自然MVG的距離,即NIQE得分:
2. 實驗
我們只看一個實驗:我們需要多少自然圖像進行訓練,模型才會收斂?
可見,當超過100張圖像時,模型的穩定性就很好了。