Android中使用MediaCodec硬件解碼,高效率得到YUV格式幀,快速保存JPEG圖片(不使用OpenGL)(附Demo)

MediaCodec的使用demo：

https://github.com/vecio/MediaCodecDemo

https://github.com/taehwandev/MediaCodecExample

http://bigflake.com/mediacodec/

 

 

 

以下文章轉載自：

https://www.polarxiong.com/archives/Android-MediaCodec%E8%A7%86%E9%A2%91%E6%96%87%E4%BB%B6%E7%A1%AC%E4%BB%B6%E8%A7%A3%E7%A0%81-%E9%AB%98%E6%95%88%E7%8E%87%E5%BE%97%E5%88%B0YUV%E6%A0%BC%E5%BC%8F%E5%B8%A7-%E5%BF%AB%E9%80%9F%E4%BF%9D%E5%AD%98JPEG%E5%9B%BE%E7%89%87-%E4%B8%8D%E4%BD%BF%E7%94%A8OpenGL.html

 

特點

以H.264編碼分辨率1920x1080視頻文件為例

• 需要Android API 21
• 直接將視頻解碼為YUV格式幀，不經過OpenGL，不轉換為RGB
• 對絕大多數設備和絕大多數視頻編碼格式，都可以解碼得到NV21或I420格式幀數據
• 30ms內獲得NV21或I420格式幀數據
• 10ms內將NV21或I420格式幀數據寫入到文件
• 對得到的NV21格式幀數據，在110ms內完成JPEG格式的轉換和寫入到文件

背景

因為實驗需要在Android上高效率解碼視頻文件，並獲得YUV格式幀數據，遂搜索尋找解決方法。最初找到bigflake的Android MediaCodec stuff，硬件解碼視頻不可多得的示例代碼，其中提供了結合MediaCodec和OpenGL硬件解碼視頻並得到RGB格式幀數據，以及寫入bitmap圖片到文件的方法，測試發現效果不錯，但我想要的是得到YUV格式的幀數據；在繼續尋找RGB轉YUV的方法時，苦於沒有找到高效實現這個轉換的方法，遂作罷。

后來發現MediaCodec解碼得到的原始幀數據應當就是YUV格式，然后看到stackoverflow上的討論Why doesn't the decoder of MediaCodec output a unified YUV format(like YUV420P)?，發現有人和我有一樣的需要，但他已經發現了不同設備MediaCodec解碼得到的YUV格式不相同這個問題，且由於各種格式繁雜，很難寫出高效的格式轉換方法。然后又發現了來自加州理工學院的一篇文章Android MediaCodec Formats，別人統計了市面上Android設備MediaCodec解碼得到的不同YUV格式所占的比例，表格中顯示出格式之繁多，且以COLOR_QCOM_FormatYUV420SemiPlanar32m，OMX_QCOM_COLOR_FormatYUV420PackedSemiPlanar64x32Tile2m8ka和COLOR_FormatYUV420SemiPlanar占據絕大多數。考慮放棄MediaCodec直接得到統一格式的YUV格式幀數據。

再后來不死心繼續找，偶然找到了一份Android CTS測試Image和ImageReader類的代碼，發現了由MediaCodec解碼直接得到指定YUV格式（如NV21，I420）視頻幀的方法，遂有了此文。

概述

簡單來說，整個過程是，MediaCodec將編碼后的視頻文件解碼得到YUV420類的視頻幀，然后將視頻幀格式轉換為NV21或I420格式，由用戶進行后續處理；若需要寫入.yuv文件，直接將轉換后的數據寫入即可。若需要保存為JPEG格式圖片，將NV21格式幀數據轉換為JPEG格式並寫入。

詳細來說，CTS測試中透露出可以指定硬件解碼得到幀編碼格式，雖然不同設備支持的編碼格式都不盡相同，但得益於API 21加入的COLOR_FormatYUV420Flexible格式，MediaCodec的所有硬件解碼都支持這種格式。但這樣解碼后得到的YUV420的具體格式又會因設備而異，如YUV420Planar，YUV420SemiPlanar，YUV420PackedSemiPlanar等。然而又得益於API 21對MediaCodec加入的Image類的支持，可以實現簡單且高效的任意YUV420格式向如NV21，I420等格式的轉換，這樣就得到了一個統一的、可以預先指定的YUV格式視頻幀。再進一步，YuvImage類提供了一種高效的NV21格式轉換為JPEG格式並寫入文件的方法，可以實現將解碼得到的視頻幀保存為JPEG格式圖片的功能，且整個過程相比bigflake中提供的YUV經OpenGL轉換為RGB格式，然后通過Bitmap類保存為圖片，效率高很多。

MediaCodec指定幀格式

實際上，MediaCodec不僅在編碼，而且在解碼是也能夠指定幀格式。能夠指定的原因是，解碼得到的幀的格式，並不是由如H.264編碼的視頻文件提前確定的，而是由解碼器確定的，解碼器支持哪些幀格式，就可以解碼出哪些格式的幀。

獲取支持的格式

MediaCodec雖然可以指定幀格式，但也不是能指定為任意格式，是需要硬件支持的。首先看看對於特定視頻編碼格式的MediaCodec解碼器，支持哪些幀格式。

private static int selectTrack(MediaExtractor extractor) {
    int numTracks = extractor.getTrackCount();
    for (int i = 0; i < numTracks; i++) {
        MediaFormat format = extractor.getTrackFormat(i);
        String mime = format.getString(MediaFormat.KEY_MIME);
        if (mime.startsWith("video/")) {
            if (VERBOSE) {
                Log.d(TAG, "Extractor selected track " + i + " (" + mime + "): " + format);
            }
            return i;
        }
    }
    return -1;
}

private void showSupportedColorFormat(MediaCodecInfo.CodecCapabilities caps) {
    System.out.print("supported color format: ");
    for (int c : caps.colorFormats) {
        System.out.print(c + "\t");
    }
    System.out.println();
}

MediaExtractor extractor = null;
MediaCodec decoder = null;
File videoFile = new File(videoFilePath);
extractor = new MediaExtractor();
extractor.setDataSource(videoFile.toString());
int trackIndex = selectTrack(extractor);
if (trackIndex < 0) {
    throw new RuntimeException("No video track found in " + videoFilePath);
}
extractor.selectTrack(trackIndex);
MediaFormat mediaFormat = extractor.getTrackFormat(trackIndex);
String mime = mediaFormat.getString(MediaFormat.KEY_MIME);
decoder = MediaCodec.createDecoderByType(mime);
showSupportedColorFormat(decoder.getCodecInfo().getCapabilitiesForType(mime));

MediaExtractor負責讀取視頻文件，獲得視頻文件信息，以及提供 視頻編碼后的幀數據（如H.264）。selectTrack()獲取視頻所在的軌道號，getTrackFormat()獲得視頻的編碼信息。再以此編碼信息通過createDecoderByType()獲得一個解碼器，然后通過showSupportedColorFormat()就可以得到這個解碼器支持的幀格式了。

比如對於我的設備，對於支持video/avc的解碼器，支持的幀格式是

supported color format: 2135033992  21  47  25  27  35  40  52  2130706433  2130706434  20

這里的數字對應MediaCodecInfo.CodecCapabilities定義的幀格式，如2135033992對應COLOR_FormatYUV420Flexible，21對應COLOR_FormatYUV420SemiPlanar，25對應COLOR_FormatYCbYCr，27對應COLOR_FormatCbYCrY，35對應COLOR_FormatL8，40對應COLOR_FormatYUV422PackedSemiPlanar，20對應COLOR_FormatYUV420PackedPlanar。

COLOR_FormatYUV420Flexible

這里簡單談談COLOR_FormatYUV420Flexible，YUV420Flexible並不是一種確定的YUV420格式，而是包含COLOR_FormatYUV411Planar, COLOR_FormatYUV411PackedPlanar, COLOR_FormatYUV420Planar, COLOR_FormatYUV420PackedPlanar, COLOR_FormatYUV420SemiPlanar和COLOR_FormatYUV420PackedSemiPlanar。在API 21引入YUV420Flexible的同時，它所包含的這些格式都deprecated掉了。

那么為什么所有的解碼器都支持YUV420Flexible呢？官方沒有說明這點，但我猜測，只要解碼器支持YUV420Flexible中的任意一種格式，就會被認為支持YUV420Flexible格式。也就是說，幾乎所有的解碼器都支持YUV420Flexible代表的格式中的一種或幾種。

指定幀格式

平常初始化MediaCodec並啟動解碼器是用如下代碼

decoder.configure(mediaFormat, null, null, 0);
decoder.start();

其中mediaFormat是之前得到的視頻編碼信息，這樣向解碼器確定了各種參數后，就能正常解碼了。

而指定幀格式是在上述代碼前增加

mediaFormat.setInteger(MediaFormat.KEY_COLOR_FORMAT,
MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible);

僅此一行，用來指定解碼后的幀格式，換句話說，解碼器將編碼的幀解碼為這種指定的格式。前面說到YUV420Flexible是幾乎所有解碼器都支持的，所以可以直接寫死。

這個指定方法就是我在CTS中發現的，因為官方文檔對KEY_COLOR_FORMAT的描述是set by the user for encoders, readable in the output format of decoders，也就是說只用在編碼器中，而不是我們現在用的解碼器中！

轉換格式和寫入文件

主體框架

先貼主體部分的代碼

final int width = mediaFormat.getInteger(MediaFormat.KEY_WIDTH);
final int height = mediaFormat.getInteger(MediaFormat.KEY_HEIGHT);
int outputFrameCount = 0;
while (!sawOutputEOS) {
    if (!sawInputEOS) {
        int inputBufferId = decoder.dequeueInputBuffer(DEFAULT_TIMEOUT_US);
        if (inputBufferId >= 0) {
            ByteBuffer inputBuffer = decoder.getInputBuffer(inputBufferId);
            int sampleSize = extractor.readSampleData(inputBuffer, 0);
            if (sampleSize < 0) {
                decoder.queueInputBuffer(inputBufferId, 0, 0, 0L, MediaCodec.BUFFER_FLAG_END_OF_STREAM);
                sawInputEOS = true;
            } else {
                long presentationTimeUs = extractor.getSampleTime();
                decoder.queueInputBuffer(inputBufferId, 0, sampleSize, presentationTimeUs, 0);
                extractor.advance();
            }
        }
    }
    int outputBufferId = decoder.dequeueOutputBuffer(info, DEFAULT_TIMEOUT_US);
    if (outputBufferId >= 0) {
        if ((info.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {
            sawOutputEOS = true;
        }
        boolean doRender = (info.size != 0);
        if (doRender) {
            outputFrameCount++;
            Image image = decoder.getOutputImage(outputBufferId);
            if (outputImageFileType != -1) {
                String fileName;
                switch (outputImageFileType) {
                    case FILE_TypeI420:
                        fileName = OUTPUT_DIR + String.format("frame_%05d_I420_%dx%d.yuv", outputFrameCount, width, height);
                        dumpFile(fileName, getDataFromImage(image, COLOR_FormatI420));
                        break;
                    case FILE_TypeNV21:
                        fileName = OUTPUT_DIR + String.format("frame_%05d_NV21_%dx%d.yuv", outputFrameCount, width, height);
                        dumpFile(fileName, getDataFromImage(image, COLOR_FormatNV21));
                        break;
                    case FILE_TypeJPEG:
                        fileName = OUTPUT_DIR + String.format("frame_%05d.jpg", outputFrameCount);
                        compressToJpeg(fileName, image);
                        break;
                }
            }
            image.close();
            decoder.releaseOutputBuffer(outputBufferId, true);
        }
    }
}

 

上述代碼是MediaCodec解碼的一般框架，不作過多解釋。 不同於bigflake的是MediaCodec解碼的輸出沒有指定一個Surface，而是利用API 21新功能，直接通過getOutputImage()將視頻幀以Image的形式取出。

而我們現在得到的Image就可以確定是YUV420Flexible格式，而得益於Image類的抽象，我們又可以非常方便地將其轉換為NV21或I420格式。關於具體的轉換和寫入文件的細節，參見我的另一篇文章Android: YUV_420_888編碼Image轉換為I420和NV21格式byte數組。

總結

這篇文章餅畫的很大，但寫的很短，因為還有一大部分內容在如上鏈接中的文章中講到。對於僅僅需要將視頻切分為一幀一幀並保存為圖片的用戶來說，使用這種方法比bigflake的方法會快10倍左右，因為沒有OpenGL渲染，以及轉換為Bitmap的開銷。而對於需要獲得視頻幀YUV格式數據的用戶來說，這種方法能夠直接得到YUV格式數據，中間沒有數學運算，不會出現不必要的精度損失，而且，也是效率最高的。

此方法的核心原理就是通過指定解碼器參數，保證了解碼得到的幀格式一定是YUV420Flexible；通過Image實現了健壯且高效的YUV格式轉換方法；通過YuvImage實現了快速的JPEG格式圖片生成和寫入的方法。

Demo

依照上面的描述，本文附帶了一個Android APP Demo，指定輸入視頻文件和輸出文件夾名，此APP可將視頻幀保存為I420、NV21或JPEG格式。如有需要，請點擊zhantong/Android-VideoToImages。