很詳細的綜述:https://blog.csdn.net/qq_23304241/article/details/80953613
什么是圖像質量評估(IQA)?
圖像質量評估(IQA)算法將任意圖像作為輸入,並輸出質量分數作為輸出。有三種類型的IQA:
- 全參考IQA: 有一個非失真的參考圖像來測量失真圖像的質量,可用於評估圖像壓縮算法的質量。
- 降低(半)參考IQA: 沒有參考圖像,而是具有一些選擇性信息的圖像(例如水印圖像),用於比較和測量失真圖像的質量。
- 目標盲目或無參考IQA: 算法獲得的唯一輸入是要測量其質量的圖像。
在我看來基於深度學習的圖像質量評價主要有兩種:
1、直接利用回歸,輸入為圖像,輸出為質量評價分數。那么訓練數據集就是 圖像和label。
2、利用偽參考圖像,然后將待評價圖像和偽參考圖像一起輸入到回歸網絡中,輸出質量評價分數。那么訓練數據要包含:待評價圖像、參考圖像和label。注:偽參考圖像這個說法是我自己想的。
一、直接利用回歸
直接利用回歸進行質量評價。這個思路比較簡單,就是我們輸入一張待評價圖像然后輸出的是一個值(score)。
網絡就可以設計為一個卷積神經網絡,例如我們可以選用VGG網絡進行回歸。
但是由於圖像質量評價的數據往往難以獲得,且存在很大的主觀性,所以說數據量是不大的。所以Xialei Liu等人就提出了RankIQA來解決數據量小的問題。
RankIQA:別看名字這么玄乎,其實本身思想其實很簡單,就是利用遷移學習。那么從哪里遷移網絡參數呢?是從參數共享的網絡得到。這個參數共享又不能說是孿生網絡(注:論文中說是孿生網絡),因為這個網絡不像孿生網絡一樣有連接在一塊,所以應該只能算是參數共享的網絡。
二、利用偽參考圖像
為什么我說這個是偽參考圖像,因為這里面訓練的時候是需要參考圖像的,並且網絡會生成一個假的參考圖像,這個參考圖像是通過網絡對質量差的圖像修復得到,例如一種模糊圖像,然后由網絡對其進行修復生成一張清晰的圖像。然后利用這個清晰的圖像作為參考圖像對圖像進行質量評價。
這里介紹兩篇文章:RAN4IQA和Hallucinated-IQA,這兩篇文章都是這樣的思路,都是利用GAN(對抗生成網絡)修復質量差的圖像,然后將得到的修復后的圖像(偽參考圖像)作為參考圖像對待評價圖像進行打分。
所以這兩個網絡可以分解成三部分:偽參考圖像評價網絡 = GAN + 評價網絡 = 修復網絡(生成網絡)+ 判別網絡 + 評價網絡
其實我們可以發現,當我們拋開評價網絡,剩下的GAN就成了一個圖像修復網絡了。
鏈接:
https://blog.csdn.net/u012925804/article/details/102691040?spm=1001.2101.3001.6650.11&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-11.no_search_link&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-11.no_search_link
正如以上所說對於一種圖像質量評價算法性能好壞的評估就是看在具有不同失真的大數據集上觀察者的主觀評分和算法評分的相關度。如果它們的相關度較高,則說明該質量評價算法的性能較好,否則反之。
現在用到的評價參數主要有四個。它們分別是SROCC,KROCC,PLCC和rMSE