Paper | Making a "Completely Blind" Image Quality Analyzer


Making a "Completely Blind" Image Quality Analyzer

質量評估大佬AC Bovik的作品,1200+引用。

目標問題:提出一些普適的、與主觀質量接近的客觀評估指標。普適意味着:無失真先驗。

背景:現有的普適NR-IQA方法需要訓練集(圖像包含預期的失真,且需要人類評分數據)。這種方法泛化能力差,且要求高。

解決思路:從自然圖像中獲取一些統計數據(natural scene statistic, NSS),用來刻畫圖像質量。即不再需要人類評分數據用於訓練。基於此的方法稱為Natural Image Quality Evaluator (NIQE)。

效果:與SOTA的、基於訓練的NR-IQA方法平起平坐。

意義:這種方法才是真正的blind。因為如果我們有合適的數據集,就說明我們對失真有了一定的預判,使得訓練集和測試集的失真模式是一致的。雖然測試階段是盲的,但訓練顯然非盲。

1. 技術細節

作者稱之為no reference opinion-unaware distortion-unaware IQA model。一句話概括:將一系列quality-aware的特征,用一個多元高斯(multivariate Gaussian MVG)模型進行建模。那么,有損圖像的質量就是其MVG 以及 自然圖像的MVG 的距離。

1.1 NSS特征

第一步,圖像歸一化:減去局部均值,除以標准差+1:

計算

這一步即計算了本文選擇的NSS!根據參考文獻[10]【這個文獻很重要】,無損自然圖像的式(1)遵循高斯分布。如果是非自然圖像(如計算機渲染圖像)或受損圖像,那么分布就不像高斯分布。

注意:該指標在BRISQUE[3]中已經被用過。但BRISQUE方法沒有NIQE好?

1.2 選擇銳利塊來計算NSS

第二步,我們選擇塊,來計算以上的NSS。注意,我們只考慮那些顯著性高的區域,一般是銳利的區域[12]。前面我們計算了每個像素點鄰域的標准差,因此我們可以據此估算該區域的銳利程度:

區域銳利程度

如圖即選出的區域示例:

銳利區域

然后,我們簡單設一個閾值,該閾值為整個圖像峰值銳利度的75%。超過閾值即銳利塊,被選出計算NSS。

1.3 一張圖像得到36個特征

第三步,我們用零均值的廣義高斯分布(generalized Gaussian distribution, GGD)來建模自然圖像的NSS:

GDD

GDD

和[3]一樣,本文通過相鄰像素NSS的相乘,來檢測該NSS指標的異常。

建模時,我們考慮4個方向、2種塊的尺度。每一個GGD模型有4個參數,一共能產生36個特征。產生方法要看[3]。

1.4 用MVG建模這36個特征

第四步,我們用MVG建模自然圖像的這36個特征。

MVG擬合

1.5 NIQE指標

最后,我們計算目標MVG和自然MVG的距離,即NIQE得分:

NIQE

2. 實驗

我們只看一個實驗:我們需要多少自然圖像進行訓練,模型才會收斂?

實驗

可見,當超過100張圖像時,模型的穩定性就很好了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM