虹軟 最近開放了人臉識別的SDK引擎(免費的哦),剛好有Android版的,就體驗了一波。下面來說說Android版的SDK使用心得:
ArcFace 虹軟人臉認知引擎簡介
目前開放的版本有人臉比對(1:1)和人臉檢索(1:N),根據應用場景可選擇
人臉檢索分為小型網絡(檢測100人內),中型網絡(1000人內),大型網絡(需聯系虹軟官方)
目前開放的功能有人臉比對,人臉識別,人臉追蹤
關於如何使用
在官網下載SDK引擎后集成到你的項目中,然后我在此舉例說下其中一個sample:人臉識別 官方sample是這樣的:
AFR_FSDKInterface engine = new AFR_FSDKEngine(); //用來存放提取到的人臉信息, face_1 是注冊的人臉,face_2 是要識別的人臉 AFR_FSDKFace face1 = new AFR_FSDKFace(); AFR_FSDKFace face2 = new AFR_FSDKFace(); //初始化人臉識別引擎,使用時請替換申請的 APPID 和 SDKKEY AFR_FSDKError error = engine.AFR_FSDK_InitialEngine("APPID", "SDKKEY"); Log.d("com.arcsoft", "AFR_FSDK_InitialEngine = " + error.getCode()); //輸入的 data 數據為 NV21 格式(如 Camera 里 NV21 格式的 preview 數據); 人臉坐標一般使用人臉檢測返回的 Rect 傳入;人臉角度請按照人臉檢測引擎返回的值傳入。 error = engine.AFR_FSDK_ExtractFRFeature(data1, width, height, AFR_FSDKEngine.CP_PAF_NV21, new Rect(210, 178, 478, 446), AFR_FSDKEngine.AFR_FOC_0, face1); Log.d("com.arcsoft", "Face=" + face1.getFeatureData()[0]+ "," + face1.getFeatureData()[1] + "," + face1.getFeatureData()[2] + "," + error.getCode()); error = engine.AFR_FSDK_ExtractFRFeature(data1, width, height, AFR_FSDKEngine.CP_PAF_NV21, new Rect(210, 170, 470, 440), AFR_FSDKEngine.AFR_FOC_0, face2); Log.d("com.arcsoft", "Face=" + face2.getFeatureData()[0]+ "," + face2.getFeatureData()[1] + "," + face2.getFeatureData()[2] + "," + error.getCode()); //score 用於存放人臉對比的相似度值 AFR_FSDKMatching score = new AFR_FSDKMatching(); error = engine.AFR_FSDK_FacePairMatching(face1, face2, score); Log.d("com.arcsoft", "AFR_FSDK_FacePairMatching=" + error.getCode()); Log.d("com.arcsoft", "Score:" + score.getScore()); //銷毀人臉識別引擎 error = engine.AFR_FSDK_UninitialEngine(); Log.d("com.arcsoft", "AFR_FSDK_UninitialEngine : " + error.getCode());
代碼中的注釋已經解釋得很清楚了,這是再說下這個NV21格式的data數據。關於NV21是什么東西,請戳這里
使用場景
人臉識別一種場景可以是實時攝像取景,即可以在相機的預覽界面里進行。在Android的Camera里有這樣一個回調:
mCamera.setPreviewCallback(new Camera.PreviewCallback() { @Override public void onPreviewFrame(byte[] data, Camera camera) { //這里的data數據就是NV21格式,可以在這里處理人臉檢測 } });
注意:Camera里的PictureCallback(),也就是我們拍照的回調,里面也有個data,但是這里的data格式不是NV21的,所以在這里傳入的data是不能處理人臉識別的
人臉檢測還可以利用已有的圖像進行檢測,但是注意,Android里對圖像處理的接口最常用的是BitMap吧。我們需要把BitMap解碼為RGB轉為NV21才能檢測圖像中的人臉。這里提供一種轉換工具類,當然大神可以無視這個自己寫哈:
public static byte[] getNV21(int inputWidth, int inputHeight, Bitmap scaled) throws Exception { int[] argb = new int[inputWidth * inputHeight]; scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight); byte[] yuv = new byte[inputWidth * inputHeight * 3 / 2]; encodeYUV420SP(yuv, argb, inputWidth, inputHeight); scaled.recycle(); return yuv; } public static void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) throws Exception { final int frameSize = width * height; int yIndex = 0; int uvIndex = frameSize; int a, R, G, B, Y, U, V; int index = 0; for (int j = 0; j < height; j++) { for (int i = 0; i < width; i++) { a = (argb[index] & 0xff000000) >> 24; // a is not used obviously R = (argb[index] & 0xff0000) >> 16; G = (argb[index] & 0xff00) >> 8; B = (argb[index] & 0xff) >> 0; // well known RGB to YUV algorithm Y = ((66 * R + 129 * G + 25 * B + 128) >> 8) + 16; U = ((-38 * R - 74 * G + 112 * B + 128) >> 8) + 128; V = ((112 * R - 94 * G - 18 * B + 128) >> 8) + 128; // NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2 // meaning for every 4 Y pixels there are 1 V and 1 U. Note the sampling is every other // pixel AND every other scanline. yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y)); if (j % 2 == 0 && index % 2 == 0) { yuv420sp[uvIndex++] = (byte) ((V < 0) ? 0 : ((V > 255) ? 255 : V)); yuv420sp[uvIndex++] = (byte) ((U < 0) ? 0 : ((U > 255) ? 255 : U)); } index++; } } }
關於實測效果(用的小型網絡版本,僅代表個人意見)
人臉檢測速度很快,大概幾十毫秒就能檢測出人臉信息,20多張人臉的圖像只有1-2個檢測不到。
人臉識別這個功能,在特征值提取上會慢點,大概需要100毫秒以上,不過因為用的是小型網絡(人數100以下達到最佳),所以這個速度也是完全可以滿足應用的。關於人臉注冊方式,可以自行建網或建雲,當然采用本地化也是可以的,用數據庫和文件等多種方式均可注冊人臉。
人臉追蹤看了下接口跟人臉檢測的接口是完全一樣的,沒有測試不作評價。
總結
虹軟免費開放SDK引擎這點很贊
引擎暫不支持人臉信息特征值合成,只能通過注冊多張人臉來解決
這個引擎二次開發的可拓展性是很強的,開發者可以根據自己的應用場景去拓展功能,這樣可以保證引擎的純潔度、可拓展性
又GET到很多干貨
還沒探索到1:N情況下高效識別的方法,目前遍歷數據庫人臉信息作比對人數多的話識別速度應該會慢很多,請問有高人指導下如何優化不?
還不行,還得再繼續努力