Android流媒體開發之路一:Camera2采集攝像頭原始數據並手動預覽


Android Camera2采集攝像頭原始數據並手動預覽

最近研究了一下android攝像頭開發相關的技術,也看了Google提供的Camera2Basic調用示例,以及網上一部分代碼,但都是在TextureView等預覽基礎上實現,而我想要做的是在不預覽的情況下,能獲取到攝像頭原始數據流,並由自己來決定是否繪制顯示。經過一番折騰,初步實現了自己的目的——CamCap程序。

需求分析

  其實主要就是在不預覽的情況下獲取到攝像頭原始數據,目的嘛,一是為了靈活性,方便隨時開啟關閉預覽,二是為了以后可以直接對數據進行處理,三是為了其他程序開發做一些准備。於是實現一下幾個功能:

  • 獲取攝像頭數據,並手動繪制圖像
  • 隨時開啟/關閉預覽
  • 隨時保存當前攝像頭圖像,即使在關閉預覽情況下

Android Camera2接口

  查閱了一些資料,Android Java層由於從API21開始,已經廢棄原Camera接口,所以這里采用Camera2接口。相比Camera接口來說,第二代攝像頭接口,調用復雜多了,但是靈活性也更高了,通過Google的Camera2Basic例子可以很清楚的了解到使用方式。這里把CamCap程序中的Camera2的調用順序整理如下:

和其他程序一樣,通過ImageReader來獲取到CameraCaptureSession傳遞出來的數據,與Google例子不同的是,我取消了把TextureView的傳遞,改為單獨以ImageReader來獲取圖像流,並設置為YUV_420_888格式,以拿到原始數據。

打開攝像頭

攝像頭打開后,創建對話

調用libyuv做RGB之間的數據轉換

  獲取到YUV數據之后,就可以在UI界面上進行繪制了,通過簡單了解,可以通過OpenGLES來繪制,也可以轉為Bitmap直接在TextureView上繪制。這里為了簡單,選擇了后者。然而后來發現,android.graphics.Bitmap並不支持直接將YUV數據存入,只能轉為RGB數據格式,才能存入Bitmap,進而在TextureView上繪制。YUV轉換RGB,之前在C++上應用過很多次了,可以把現有代碼修改一下放到java里運行,不過考慮到性能問題,決定還是使用libyuv。libyuv是一款以c/c++為基礎的,專做YUV與RGB格式轉換的開源項目,性能非常高。

  使用libyuv,需要通過NDK交叉編譯,並通過JNI來調用。libyuv編譯起來也很簡單,首先下載libyuv源碼,代碼地址是:https://chromium.googlesource.com/libyuv/libyuv 。然后確保NDK已經安裝(這個直接在AndroidStudio中就能安裝好),之后把NDK目錄添加到環境變量。最后,進入libyuv目錄,調用ndk-build即可。libyuv項目里已經寫好了Android.mk,所以,直接編譯就行了(我是在Windows上)。

注意!編譯的時候遇到JPEG庫沒有指定的問題,如果不想依賴libjpeg,可以修改Android.mk,刪除JPEG庫相關編譯項就可以解決。

在AndroidStudio上建立c++文件,封裝libyuv接口,然后按照JNI規范暴露接口,同時在Java層封裝類來調用native方法。

繪制圖像

在繪制圖像的時候,有個坑,那就是圖像的旋轉,這個是由於手機上的攝像頭傳感器的視野坐標,一般都是旋轉了90度或270度的,所以,需要把攝像頭采集到的畫面,進行旋轉,才能還原出正確的視野畫面。傳感器旋轉方向通過以下值獲得,

CameraManager.getCameraCharacteristics(camid).get(CameraCharacteristics.SENSOR_ORIENTATION)

根據這個值,構建Matrix將Bitmap進行旋轉

Matrix構建代碼如下:

與上面代碼中類似,通過TextureView.lockCanvas(),獲取到Canvas,調用drawBitmap()將圖像寫入,即可完成繪制。

運行截圖

開啟預覽時的4:3畫面和16:9畫面

關閉預覽,同時可以繼續拍照

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

haibindev.cnblogs.com,合作請聯系QQ。(轉載請注明作者和出處~)

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM