神經網絡和無參考圖片質量評價:Deep CNN-Based Blind Image Quality Predictor

paper:Deep CNN-Based Blind Image Quality Predictor
authors:Jongyoo Kim etc...
date:2018
code

1.Introduction

CNN廣泛應用於計算機視覺任務，將CNN用到IQA的一個問題是:IQA數據集較小，標注困難。作者提出第一階段使用objective error map(失真圖片和原始圖片做差)作為代理訓練目標，訓練CNN網絡,pixelwise相當於擴大了數據集；第二階段再利用第一階段的CNN模型fituning圖片到質量分數的模型。
當圖片嚴重失真時，失真圖片缺少高頻細節信息，error map就會有很多高頻成分，很難從失真圖片預測error map,作者提出了reliability map,認為模糊區域有低的reliability。

2.DIQA

A.Image Normalization

圖片預處理，\(I_r\)和\(I_d\)表示參考圖片和失真圖片，normalized后的用\(\hat{I_r}\)和\(\hat{I_d}\)表示。

\[\hat{I}=I-I^{low} \]

\(I^{low}\)經下面按下面處理獲得:
(1)灰度化，高斯模糊　　
(2)Downscale　1/4　　
(3)Upscale到原來的尺度　　

B.Model Architecture

C.Reliability Map Prediction

訓練預測error map的網絡時，模型無法預測同質化區域(homogeneous regions)，為此提出了reliabilit function,作者假設模糊的區域有低的reliability。

\[r=\frac{2}{1+exp(-\alpha|\hat{I_d}|)}-1 \]

上面的定義可能影響最終預測分數，用平均reliability map替代

\[\hat{r}=\frac{1}{\frac{1}{H_rW_r}\sum_{i,j}r(i,j)}r \]

D.Objective Error Map

在訓練的第一階段，用objective error map作為訓練的代理目標。loss函數如下:

\[L(\hat{I_d};\theta_f,\theta_g)=||g(f(\hat{I_d;\theta_f})-e_{gt};\theta_g)\odot\hat{r}||_2^2 \]

其中\(f\)和\(g\)見上圖定義，\(\theta\)表示網絡參數，\(e_{gt}\)定義如下:

\[e_{gt}=|\hat{I_r}-\hat{I_d}|^p \]

論文設定\(p=0.2\)。
如上圖，第一階段的網絡輸出變為原尺度的1/4,所以這里計算loss時也需要對\(e_{gt}\)和\(\hat{r}\) downscale為原尺度的1/4

E.Learning Subjective Opinion

第二階段訓練預測圖片質量分數。如上圖網絡結構，卷積層提取的特征送入后面連接兩個fc層。在這里添加了兩個額外的手工設計特征:reliability map \(r\)的均值\(\mu_r\)和低頻失真圖像\(I_d^{low}\)的標准差\(\sigma_{I_d}^{low}\)。loss函數如下:

\[L_2(I_d;\theta_f,\theta_h)=||h(v,\mu_r,\sigma_{I_d}^{low};\theta_h)-S||_2^2 \]

其中S是標准的主觀評分,v是池化后的特征向量:

\[v=GAP(f(\hat{I_d};\theta_f)) \]

GAP是上面結構圖里的global average pooling。

3.Experiments

A.ablation studies

1.Pretraining with objective error map

2.Reliability Map

3.Image Normalization

4.Handcrafted Features

5.Proxy Training Targets

B.performance