碼上快樂

相關內容    簡體    繁體

android中OpenMax的實現【3】OMX中主要成員

本文轉載自   查看原文   2014-06-25 14:53   2784    OpenMax

原文 http://blog.csdn.net/tx3344/article/details/8117908

 

通過上文知道了，每個AwesomePlayer 只有一個OMX服務的入口，但是AwesomePlayer不一定就只需要1種解碼器。有可能音視頻都有，或者有很多種。這個時候這些解碼器都需要OMX的服務，也就是OMX那頭需要建立不同的解碼器的組件來對應着AwesomePlayer中不同的code。OMX中非常重要的2個成員就是 OMXMaster 和 OMXNodeInstance。OMX通過這倆個成員來創建和維護不同的openmax 解碼器組件，為AwesomePlayer中不同解碼提供服務。讓我們看看他們是怎么實現這些工作的。

 

1. OMX中 OMXNodeInstance 負責創建並維護不同的實例，這些實例是根據上面需求創建的，以node作為唯一標識。這樣播放器中每個OMXCodec在OMX服務端都對應有了自己的OMXNodeInstance實例。

2.OMXMaster 維護底層軟硬件解碼庫，根據OMXNodeInstance中想要的解碼器來創建解碼實體組件。

接下來我們假設視頻解碼器需要的是AVC，來看看解碼器創建的流程。

(默認走軟解碼)

1.准備工作初始化OMXMaster

OMX構造函數中會進行初始化。

[cpp]  view plain copy
 
  1. OMXMaster *mMaster;  
[cpp]  view plain copy
 
  1. OMX::OMX()  
  2.     : mMaster(new OMXMaster),  
  3.       mNodeCounter(0) {  
  4. }  
[cpp]  view plain copy
 
  1. OMXMaster::OMXMaster()  
  2.     : mVendorLibHandle(NULL) {  
  3.     addVendorPlugin();  
  4.     addPlugin(new SoftOMXPlugin);  
  5. }  
OMXMaster 負責OMX中編解碼器插件管理，軟件解碼和硬件解碼都是使用OMX標准，掛載plugins的方式來進行管理。
軟解通過 addPlugin(new SoftOMXPlugin);會把這些編解碼器的名字都放在mPluginByComponentName中。
android 默認會提供一系列的軟件解碼器。目前支持這些格式的軟編解碼。
[cpp]  view plain copy
 
  1. kComponents[] = {  
  2.     { "OMX.google.aac.decoder", "aacdec", "audio_decoder.aac" },  
  3.     { "OMX.google.aac.encoder", "aacenc", "audio_encoder.aac" },  
  4.     { "OMX.google.amrnb.decoder", "amrdec", "audio_decoder.amrnb" },  
  5.     { "OMX.google.amrnb.encoder", "amrnbenc", "audio_encoder.amrnb" },  
  6.     { "OMX.google.amrwb.decoder", "amrdec", "audio_decoder.amrwb" },  
  7.     { "OMX.google.amrwb.encoder", "amrwbenc", "audio_encoder.amrwb" },  
  8.     { "OMX.google.h264.decoder", "h264dec", "video_decoder.avc" },  
  9.     { "OMX.google.h264.encoder", "h264enc", "video_encoder.avc" },  
  10.     { "OMX.google.g711.alaw.decoder", "g711dec", "audio_decoder.g711alaw" },  
  11.     { "OMX.google.g711.mlaw.decoder", "g711dec", "audio_decoder.g711mlaw" },  
  12.     { "OMX.google.h263.decoder", "mpeg4dec", "video_decoder.h263" },  
  13.     { "OMX.google.h263.encoder", "mpeg4enc", "video_encoder.h263" },  
  14.     { "OMX.google.mpeg4.decoder", "mpeg4dec", "video_decoder.mpeg4" },  
  15.     { "OMX.google.mpeg4.encoder", "mpeg4enc", "video_encoder.mpeg4" },  
  16.     { "OMX.google.mp3.decoder", "mp3dec", "audio_decoder.mp3" },  
  17.     { "OMX.google.vorbis.decoder", "vorbisdec", "audio_decoder.vorbis" },  
  18.     { "OMX.google.vpx.decoder", "vpxdec", "video_decoder.vpx" },  
  19.     { "OMX.google.raw.decoder", "rawdec", "audio_decoder.raw" },  
  20.     { "OMX.google.flac.encoder", "flacenc", "audio_encoder.flac" },  
  21. };  
硬件編解碼是通過 addVendorPlugin();加載libstagefrighthw.so.各個芯片平台可以遵循openmax 標准,生成libstagefrighthw.so的庫來提供android應用。
[cpp]  view plain copy
 
  1. void OMXMaster::addVendorPlugin() {  
  2.     addPlugin("libstagefrighthw.so");  
  3. }  

然后通過dlopen、dlsym來調用庫中的函數。

這部分准備工作是在AwesomePlayer的構造函數中
CHECK_EQ(mClient.connect(), (status_t)OK); 已經完成了。

2.創建mVideoSource

有了上面的OMX，接下來會在AwesomePlayer::initVideoDecoder中創建mVideoSource 實例，下面代碼只保留的主要部分：
[cpp]  view plain copy
 
  1. status_t AwesomePlayer::initVideoDecoder(uint32_t flags) {  
  2.     ATRACE_CALL();  
  3.     mVideoSource = OMXCodec::Create(  
  4.             mClient.interface(), mVideoTrack->getFormat(),  
  5.             false, // createEncoder  
  6.             mVideoTrack,  
  7.             NULL, flags, USE_SURFACE_ALLOC ? mNativeWindow : NULL);  
  8.     status_t err = mVideoSource->start();  
  9.     return mVideoSource != NULL ? OK : UNKNOWN_ERROR;  
  10. }  
保留主要部分，去除編碼相關
[cpp]  view plain copy
 
  1. sp<MediaSource> OMXCodec::Create(  
  2.         const sp<IOMX> &omx,  
  3.         const sp<MetaData> &meta, bool createEncoder,  
  4.         const sp<MediaSource> &source,  
  5.         const char *matchComponentName,  
  6.         uint32_t flags,  
  7.         const sp<ANativeWindow> &nativeWindow) {  
  8.     int32_t requiresSecureBuffers;  
  9.       
  10.     const char *mime;  
  11.     bool success = meta->findCString(kKeyMIMEType, &mime);  
  12.     CHECK(success);  
  13.   
  14.     Vector<String8> matchingCodecs;  
  15.     Vector<uint32_t> matchingCodecQuirks;  
  16.     findMatchingCodecs(  
  17.             mime, createEncoder, matchComponentName, flags,  
  18.             &matchingCodecs, &matchingCodecQuirks);  
  19.   
  20.     sp<OMXCodecObserver> observer = new OMXCodecObserver;  
  21.     IOMX::node_id node = 0;  
  22.   
  23.     for (size_t i = 0; i < matchingCodecs.size(); ++i) {  
  24.         const char *componentNameBase = matchingCodecs[i].string();  
  25.         uint32_t quirks = matchingCodecQuirks[i];  
  26.         const char *componentName = componentNameBase;  
  27.   
  28.         AString tmp;  
  29.      
  30.         status_t err = omx->allocateNode(componentName, observer, &node);  
  31.         if (err == OK) {  
  32.             ALOGV("Successfully allocated OMX node '%s'", componentName);  
  33.   
  34.             sp<OMXCodec> codec = new OMXCodec(  
  35.                     omx, node, quirks, flags,  
  36.                     createEncoder, mime, componentName,  
  37.                     source, nativeWindow);  
  38.   
  39.             observer->setCodec(codec);  
  40.   
  41.             err = codec->configureCodec(meta);  
  42.   
  43.             if (err == OK) {  
  44.                 if (!strcmp("OMX.Nvidia.mpeg2v.decode", componentName)) {  
  45.                     codec->mFlags |= kOnlySubmitOneInputBufferAtOneTime;  
  46.                 }  
  47.   
  48.                 return codec;  
  49.             }  
  50.   
  51.             ALOGV("Failed to configure codec '%s'", componentName);  
  52.         }  
  53.     }  
  54.   
  55.     return NULL;  
  56. }  

1.根據mVideoTrack傳進來的視頻信息，查找相匹配的解碼器。

 

[cpp]  view plain copy
 
  1. bool success = meta->findCString(kKeyMIMEType, &mime);  
  2. findMatchingCodecs(  
  3.            mime, createEncoder, matchComponentName, flags,  
  4.            &matchingCodecs, &matchingCodecQuirks);  

2. 創建OMXCodecObserver 實例，OMXCodecObserver功能后續會詳細介紹。創建一個node 並初始化為0.

 

 

[cpp]  view plain copy
 
  1. sp<OMXCodecObserver> observer = new OMXCodecObserver;  
  2.     IOMX::node_id node = 0;  

3. 通過omx入口 依靠binder 機制調用OMX服務中的allocateNode()，這一步把匹配得到的解碼器組件名、OMXCodecObserver實例和初始化為0的node一並傳入。

 

[cpp]  view plain copy
 
  1. status_t err = omx->allocateNode(componentName, observer, &node);  
這個allocateNode 就是文章最開始講的，在OMX那頭創建一個和mVideoSource相匹配的解碼實例。用node值作為唯一標識。
讓我們來看看真正的omx中allocateNode做了啥？
[cpp]  view plain copy
 
  1. status_t OMX::allocateNode(  
  2.         const char *name, const sp<IOMXObserver> &observer, node_id *node) {  
  3.     Mutex::Autolock autoLock(mLock);  
  4.   
  5.     *node = 0;  
  6.   
  7.     OMXNodeInstance *instance = new OMXNodeInstance(this, observer);  
  8.   
  9.     OMX_COMPONENTTYPE *handle;  
  10.     OMX_ERRORTYPE err = mMaster->makeComponentInstance(  
  11.             name, &OMXNodeInstance::kCallbacks,  
  12.             instance, &handle);  
  13.   
  14.     if (err != OMX_ErrorNone) {  
  15.         ALOGV("FAILED to allocate omx component '%s'", name);  
  16.   
  17.         instance->onGetHandleFailed();  
  18.   
  19.         return UNKNOWN_ERROR;  
  20.     }  
  21.   
  22.     *node = makeNodeID(instance);  
  23.     mDispatchers.add(*node, new CallbackDispatcher(instance));  
  24.   
  25.     instance->setHandle(*node, handle);  
  26.   
  27.     mLiveNodes.add(observer->asBinder(), instance);  
  28.     observer->asBinder()->linkToDeath(this);  
  29.   
  30.     return OK;  
  31. }  

創建一個OMXNodeInstance實例。
通過mMaster->makeComponentInstance創建真正解碼器的組件，並通過handle與OMXNodeInstance關聯。
所以說mMaster->makeComponentInstance這里是建立解碼器組件的核心。會把mVideoSource需要的解碼器name一直傳遞下去。
[cpp]  view plain copy
 
  1. OMX_ERRORTYPE OMXMaster::makeComponentInstance(  
  2.         const char *name,  
  3.         const OMX_CALLBACKTYPE *callbacks,  
  4.         OMX_PTR appData,  
  5.         OMX_COMPONENTTYPE **component) {  
  6.     Mutex::Autolock autoLock(mLock);  
  7.   
  8.     *component = NULL;  
  9.   
  10.     ssize_t index = mPluginByComponentName.indexOfKey(String8(name));  
  11.   
  12.     if (index < 0) {  
  13.         return OMX_ErrorInvalidComponentName;  
  14.     }  
  15.   
  16.     OMXPluginBase *plugin = mPluginByComponentName.valueAt(index);  
  17.     OMX_ERRORTYPE err =  
  18.         plugin->makeComponentInstance(name, callbacks, appData, component);  
  19.   
  20.     if (err != OMX_ErrorNone) {  
  21.         return err;  
  22.     }  
  23.   
  24.     mPluginByInstance.add(*component, plugin);  
  25.   
  26.     return err;  
  27. }  

最開始OMXMaster通過 addPlugin(new SoftOMXPlugin);把支持的軟解碼放在mPluginByComponentName中，在makeComponentInstance中通過上面傳下來的解碼器的name值從mPluginByComponentName找到相對應的plugin，然后調用  plugin->makeComponentInstance(name, callbacks, appData, component);
這里的plugin 值得就是軟解SoftOMXPlugin 也就是調用了
[cpp]  view plain copy
 
  1. OMX_ERRORTYPE SoftOMXPlugin::makeComponentInstance(  
  2.         const char *name,  
  3.         const OMX_CALLBACKTYPE *callbacks,  
  4.         OMX_PTR appData,  
  5.         OMX_COMPONENTTYPE **component) {  
  6.     ALOGV("makeComponentInstance '%s'", name);  
  7.   
  8.     for (size_t i = 0; i < kNumComponents; ++i) {  
  9.         if (strcmp(name, kComponents[i].mName)) {  
  10.             continue;  
  11.         }  
  12.   
  13.         AString libName = "libstagefright_soft_";  
  14.         libName.append(kComponents[i].mLibNameSuffix);  
  15.         libName.append(".so");  
  16.   
  17.         void *libHandle = dlopen(libName.c_str(), RTLD_NOW);  
  18.   
  19.         if (libHandle == NULL) {  
  20.             ALOGE("unable to dlopen %s", libName.c_str());  
  21.   
  22.             return OMX_ErrorComponentNotFound;  
  23.         }  
  24.   
  25.         typedef SoftOMXComponent *(*CreateSoftOMXComponentFunc)(  
  26.                 const char *, const OMX_CALLBACKTYPE *,  
  27.                 OMX_PTR, OMX_COMPONENTTYPE **);  
  28.   
  29.         CreateSoftOMXComponentFunc createSoftOMXComponent =  
  30.             (CreateSoftOMXComponentFunc)dlsym(  
  31.                     libHandle,  
  32.                     "_Z22createSoftOMXComponentPKcPK16OMX_CALLBACKTYPE"  
  33.                     "PvPP17OMX_COMPONENTTYPE");  
  34.   
  35.         if (createSoftOMXComponent == NULL) {  
  36.             dlclose(libHandle);  
  37.             libHandle = NULL;  
  38.   
  39.             return OMX_ErrorComponentNotFound;  
  40.         }  
  41.   
  42.         sp<SoftOMXComponent> codec =  
  43.             (*createSoftOMXComponent)(name, callbacks, appData, component);  
  44.   
  45.         if (codec == NULL) {  
  46.             dlclose(libHandle);  
  47.             libHandle = NULL;  
  48.   
  49.             return OMX_ErrorInsufficientResources;  
  50.         }  
  51.   
  52.         OMX_ERRORTYPE err = codec->initCheck();  
  53.         if (err != OMX_ErrorNone) {  
  54.             dlclose(libHandle);  
  55.             libHandle = NULL;  
  56.   
  57.             return err;  
  58.         }  
  59.   
  60.         codec->incStrong(this);  
  61.         codec->setLibHandle(libHandle);  
  62.   
  63.         return OMX_ErrorNone;  
  64.     }  
  65.   
  66.     return OMX_ErrorInvalidComponentName;  
  67. }  
通過上面傳下來的解碼器的name，找到對應庫的名字。假如是264的話，要加載的庫就是 libstagefright_soft_h264dec.so,也就是對應上層264解碼的話，omx解碼組件會加載對應的 libstagefright_soft_h264dec.so庫。相對應的軟解代碼在 Android4.1.1\frameworks\av\media\libstagefright\codecs\on2\h264dec 中。
加載完264解碼庫后 通過dlopen、dlsym來調用庫中函數。
通過調用 SoftAVC 中的 createSoftOMXComponent 來創建真正264解碼器實例SoftOMXComponent。以后真正視頻解碼的工作都是通過avc 這個SoftAVC實例完成的
[cpp]  view plain copy
 
  1. android::SoftOMXComponent *createSoftOMXComponent(  
  2.         const char *name, const OMX_CALLBACKTYPE *callbacks,  
  3.         OMX_PTR appData, OMX_COMPONENTTYPE **component) {  
  4.     return new android::SoftAVC(name, callbacks, appData, component);  
  5. }  

經過這一路下來，終於完成了解碼器的創建工作。簡單總結一下。
1.AwesomePlayer中通過initVideoDecoder 來創建video解碼器mVideoSource
2.mVideoSource 中通過上部分demux后的視頻流 mVideoTrack來獲得解碼器的類型，通過類型調用omx->allocateNode 創建omx node實例與自己對應。以后都是通過node實例來操作解碼器。
3.在 omx->allocateNode中 通過mMaster->makeComponentInstance 來創建真正對應的解碼器組件。這個解碼器組件是完成之后解碼實際工作的。
4.在創建mMaster->makeComponentInstance過程中，也是通過上面mVideoTrack 過來的解碼器類型名，找到相對應的解碼器的庫，然后實例化。

 

 


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 OpenMax概述 Android總結篇系列：Activity中幾個主要函數詳解 反射主要實現類有哪些？ 抓包工具Fidder詳解(主要來抓取Android中app的請求) .NET中利用反射來實現自動映射兩個對象中的數據成員 三、List接口的主要實現類 C語言鏈表中數組實現數據選擇排序，升序、降序功能主要難點 java中List、Set和Map三個接口及其主要實現類 不實現繼承的抽象成員 Android 中的緩存機制與實現
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM