1. 基於圖像質量特征分析的大致流程如下,主要圍繞:鏡面反射特征(Specular reflection feature)/模糊特征(Blurriness feature)/ 色矩特征(Chromatic moment feature)/ 顏色多樣性特征(Color diversity feature)等四方面展開。
參考:論文:Face Spoof Detection with Image Distortion Analysis. 2015.
2. Specular reflection feature
在同一成像環境中將真實的面部或欺騙性面部(例如打印的照片或屏幕上的回放視頻)呈現給相機,真實的面部和欺騙性面部圖像之間的主要區別:在於“形狀 ”和攝像頭前面的臉部特征。根據鏡面反射模型,可以將圖像分為鏡面反射圖像和漫反射圖像兩部分。
1) 鏡面反射特征的提取方式
參考:論文:Real-time specular highlight removal using bilateral filtering, ECCV, 2010.
Separating reflection components of textured surfaces using a single image, IEEE Trans. Feb. 2005.
2). 利用NUAA數據集中的活體與非活體圖像,對提取的鏡面反射特征進行量化分析;
量化分析過程參考:論文:Face Spoof Detection with Image Distortion Analysis. 2015.
01_1等代表圖像的名字(依次從左到右,從上到下);
B_m/G_m/R_m分別代表鏡面反射圖的B/G/R各個通道的均值;
B_per/G_per/R_er分別代表各通道鏡面反射圖的像素部分占整幅圖像的的比例;
B_var/G_var/R_var代表鏡面反射圖的B/G/R通道的方差;
3. Blurriness Features
對於短距離欺騙攻擊,欺騙面孔通常會在手機相機中散焦。 原因是欺騙介質(打印紙,平板電腦屏幕和手機屏幕)通常尺寸有限,攻擊者必須將其放置在靠近相機的位置,以掩蓋攻擊介質的邊界。 結果,欺騙的面孔容易散焦,並且由於散焦而導致的圖像模糊可以用作反欺騙的另一線索。
1) 圖像的模糊度度量方式
參考:論文: The blur effect: perception and estimation with a new no-reference perceptual blur metric, 2007.
2) 利用NUAA數據集中的活體與非活體圖像,進行圖像模糊度度量;
Vec_ratio:是圖像垂直方向的模糊度; Hor_ratio:是圖像水平方向的模糊度;數值越大,代表圖像在那個方向越模糊;
4. Chromatic Moment Feature
1) .色矩特征的提取及量化結果分析
參考:HSV空間各通道分離實驗及各值意義:https://blog.csdn.net/bamboocan/article/details/70627137
偏度(skewness)和峰度(kurtosis):https://blog.csdn.net/xbmatrix/article/details/69360167
5. Color Diversity Features
1) 圖像的顏色多樣性特征量化
輸入圖像 -> 分離各個通道(R/G/B)-> 將各通道的像素值(0-255)進行等間隔量化(如255/35=7,像素0-6,標記為0;像素7-13,標記為1;......像素值為218-225,標記為:34)->統計各個區間的出現的頻率個數,並排序->只取頻率出現最大的前5個區間的標志作為特征輸出;
2)針對NUAA數據集中的圖片進行量化的結果
注: 數值越大,代表像素主要集中在較大值范圍內出現的頻率越多,即圖像越亮;反之,則圖像越暗;
6. 實驗結果分析
1) 關於人臉欺騙數據集簡介
NUAA Photograph Imposter數據庫[8]於2010年發布,是最早的公共領域欺騙數據庫之一。它由12,614張圖像(從143個視頻中提取)組成,僅包含15個對象的真實和攻擊嘗試。此外,NUAA數據庫中僅包含手持式打印照片攻擊。
Idiap REPLAY-ATTACK數據庫[4]於2012年發布,包含1300個視頻記錄,分別記錄了50個不同主題8的實時訪問和攻擊嘗試。在相同的采集條件(受控和不利的照明)下,通過打印照片,在手機屏幕上顯示的照片/視頻以及在HD屏幕上顯示的照片/視頻偽造同一對象的實時驗證嘗試,從而產生了面部欺騙攻擊。
2012年發布的CASIA面部反欺騙數據庫(FASD)包含600個真實的視頻錄像和50種不同身份的攻擊嘗試。盡管CASIA數據庫的大小比Idiap數據庫小,但在采集設備(高分辨率Sony NEX-5相機和低質量USB相機),面部變化(姿勢和表情變化)方面,它包含更多樣例,以及攻擊嘗試(扭曲照片,剪切照片和高清顯示的視頻)。
注:針對以上數據集,並沒有開源,想要下載需要填寫相關使用申請說明等諸多限制,可下載訪問的數據集目前只有NUAA。
2)利用圖像質量失真特征,針對NUAA數據集進行訓練與測試
實驗結果分析:上述圖像失真特征分析的方法,主要是針對手機屏幕顯示照片、視頻回放等數據集進行訓練測試的,可能本人利用NUAA數據集(主要是圖像照片攻擊)來進行訓練、測試效果才使得結果不那么理想。