android 人臉檢測你一定會遇到的坑


      筆者今年做了一個和人臉有關的android產品,主要是獲取攝像頭返回的預覽數據流,判斷該數據流是否包含了人臉,有人臉時顯示攝像頭預覽框,無人臉時攝像頭預覽框隱藏,看上去這個功能並不復雜,其實在開發過程中,遇到的問題也不多,全部都處理了,在正式推出前,這個產品在公司內部也測試了幾個月,也沒發現bug,但最近實施人員,在客戶公司做實施時,反饋回來各種問題,這些問題有部分是程序bug,也有一部分是和硬件有關,因為測試環境有限,筆者無法對各種型號,各個廠家的硬件進行測試,這篇文章主要是記錄,攝像頭給我們帶來的一些坑,分享給涉及到人臉開發的朋友,讓大家少走彎路。

  一:概述

  android有原生的api做人臉檢測,通過android.media.FaceDetector來檢測bitmap是否包含人臉,android.media.FaceDetector.Face來檢測人臉位置信息,我們需要在activity中實現Carema.PreviewCallBack接口,該接口有一個onPreviewFrame方法,這個方法返回攝像頭實時圖像的數據流,由於這個方法返回的數據流時nv21格式,我們需要轉換bitmap才能進行人臉檢測,轉換過程如下:byte[] --> YuvImage --> ByteArrayOutputStream --> byte[] -->  bitmap ,具體轉換的代碼如下:

 

Camera.Size size = mtCamera.getParameters().getPreviewSize();
YuvImage yuvImage = new YuvImage(mData, ImageFormat.NV21, size.width, size.height, null);
yuvImage.compressToJpeg(new Rect(0, 0, size.width, size.height), 100, mBitmapOutput);
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);
mBitmapOutput.reset();
bitmap = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), mMatrix, false);

通過上面的轉換,我們已經得到了人臉檢測的bitmap,此時只需要進行人臉檢測就ok了,代碼如下:

detector = new FaceDetector(source.getWidth(),source.getHeight(), maxFaceNum);
Face[] faces = new Face[maxFaceNum];
detector.findFaces(source, faces);

代碼基本上就哪么多,由於受到硬件的影響,上面的代碼有很多地雷。

  二:人臉檢測常見問題

  產品上線后,主要問題有,人站在攝像頭面前,app無法識別人臉,軟件運行性能也會下降,出現嚴重卡頓等問題,當前我比較郁悶,明明在測試環境都運行幾個月了,都沒有出現這些問題,正式實施的時候,問題不斷,通過近兩個月的整理,主要問題有以下幾個。

  2.1   無法識別人臉

  1):相機角度問題

  由於我在測試的時候,攝像頭圖像是垂直的,沒有任何問題,但正式使用時,攝像頭來自不同商家,導致攝像頭圖像是水平的了,如下圖:

                                 

  圖像角度都不對了,當然無法識別人臉了,此時我們需要得到攝像頭的默認旋轉的角度,再作處理,特別聲明:setDisplayOrientation() 這個方法是逆時針旋轉,代碼如下:

public void setCameraDisplayOrientation (Activity activity, int cameraId, android.hardware.Camera camera) {
        android.hardware.Camera.CameraInfo info = new android.hardware.Camera.CameraInfo();
        android.hardware.Camera.getCameraInfo (cameraId , info);
        int rotation = activity.getWindowManager ().getDefaultDisplay ().getRotation ();
        int degrees = 0;
        switch (rotation) {
            case Surface.ROTATION_0:
                degrees = 0;
                break;
            case Surface.ROTATION_90:
                degrees = 90;
                break;
            case Surface.ROTATION_180:
                degrees = 180;
                break;
            case Surface.ROTATION_270:
                degrees = 270;
                break;
        }
        int result;
        if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT) {
            result = (info.orientation + degrees) % 360;
            result = (360 - result) % 360;   // compensate the mirror
        } else {
            // back-facing
            result = ( info.orientation - degrees + 360) % 360;
        }
        mOrienta = result;//該值有其它用途
        camera.setDisplayOrientation (result);
    }

 

  2):相機設置旋轉后,預覽圖片和相機返回實時流角度問題

  這個坑太惡心了,當我把相機角度旋轉后,把app打包發一個給同事,結果同事告訴我,還是不行,還好在公司借到一個銳士達1080p的攝像頭,然后我把onPreviewFrame返回的流畫到imageView發現返回的圖像,和預覽的圖像,根本不一樣,我勒個去,雖然預覽圖像旋轉了,我們還需要對onPreviewFrame返回的流進行處理,這個坑也讓我比較無語,害我找了好久。雖然說解決的代碼只有簡短的幾句,但找出原因過程只有自己能體會,然后我使用Matrix來旋轉onPreviewFrame返回的流,關於Matrix,完全是參考android Matrix詳細,這篇文章寫得非常好,修改后的代碼如下。

//mOrienta來源於setCameraDisplayOrientation
mMatrix = new Matrix();
                switch (mOrienta){
                    case  90:
                        mMatrix.postRotate(270);
                        break;
                    case 270:
                        mMatrix.postRotate(90);
                        break;
                    default:
                        mMatrix.postRotate(mOrienta);
                        break;
                }

 

  2.2   720p攝像頭和1080p攝像頭涉及到的問題

  1):獲取攝像頭支持預覽尺寸遇到的問題

     初始化相機時,我們需要設置攝像頭支持的預覽尺寸,如果不是相機支持的尺寸,會出現異常,根據項目需要,本地環境我直接指定一個下標,然后硬件變化后,這個值也跟着變了,如下圖:

      

此處根據實際情況獲取,可以計算每一個尺寸的面積,通過一個基礎面積獲取適應的預覽尺寸。具體代碼就不帖了,只需要清楚有這一個坑就ok了。

  2):獲取預覽偵寬高大小帶來的問題

  如果程序的lock,和線程問題沒處理好,性能問題顯而易見。

    

  如果只是簡單的識別人臉,我們可以通過壓縮圖片的方法來解決這個問題。

BitmapFactory.Options options = new BitmapFactory.Options();
options.inSampleSize =2;
options.inPreferredConfig = Bitmap.Config.RGB_565;
bitmap = BitmapFactory.decodeByteArray(mBitmapOutput.toByteArray(), 0, mBitmapOutput.toByteArray().length, options);

  3):攝像頭返回的流頻率過快,導致人臉識別處理速度根不上的解決辦法

  最初軟件運行的時候,運行一段時間,app直接崩潰了,最后發現是,onPreviewFrame返回的流太快,網上說可以在啟動相機時,設置流的頻率,常見設置的代碼

Camera.Parameters parameters = mCamera.getParameters();
parameters.setPreviewFrameRate(3);//設置每秒3幀,沒有效果

然而這樣設置后,完全沒有用,如圖:

處理這個問題並不是很復雜,只是判斷一個兩次處理流的時候,大於300毫秒(具體時間,根據需求變動)

 public void onPreviewFrame(byte[] data, Camera camera) {
        Logger.i(TAG+"收到相機回調:onpreviewframe()"+index);
        if(data!=null&&data.length>0&&System.currentTimeMillis()-time>200){
            time=System.currentTimeMillis();
            mFaceHandle.post(new FaceThread(data,camera,(++index)));
        }
    }

 

  2.3 刷臉的人員走開后,屏幕仍然顯示和人臉相關信息 

   通過以上描述我們知道,相機預覽圖尺寸過大,導致刷臉人員走開幾秒鍾內,android設備屏,仍然顯示和人臉有關的信息,因為onPreviewFrame頻率較快,而處理人臉的時間過長,導致人臉對列越來越大,所以人走開后,屏才會顯示相關信息,這里需要控制,onPreviewFrame處理人臉的頻率大於,以及提升人臉識別的時間.

 

 完整demo 下載地址:https://github.com/jlq023/democamera

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM