若該文為原創文章，未經允許不得轉載
原博主博客地址：https://blog.csdn.net/qq21497936
原博主博客導航：https://blog.csdn.net/qq21497936/article/details/102478062
本文章博客地址：https://blog.csdn.net/qq21497936/article/details/108639103
各位讀者，知識無窮而人力有窮，要么改需求，要么找專業人士，要么自己研究

紅胖子(紅模仿)的博文大全：開發技術集合（包含Qt實用技術、樹莓派、三維、OpenCV、OpenGL、ffmpeg、OSG、單片機、軟硬結合等等）持續更新中…（點擊傳送門）

FFmpeg和SDL開發專欄（點擊傳送門）

上一篇：《FFmpeg開發筆記（四）：ffmpeg解碼的基本流程詳解》
下一篇：敬請期待

前言

ffmpeg涉及了很多，循序漸進，本篇描述基本的解碼流程，主要ffmpeg解碼流程在ffmpeg3及以后新增的2個api進行了補充，更為詳細可以參考《FFmpeg開發筆記(四)：ffmpeg解碼的基本流程詳解》

Demo

在這里插入圖片描述

ffmpeg解碼流程

ffmpeg的解碼和編碼都遵循其基本的執行流程。
新api解碼基本本流程如下：
在這里插入圖片描述
以下是老版本api解碼流程：

步驟一：注冊：

使用ffmpeg對應的庫，都需要進行注冊，可以注冊子項也可以注冊全部。

步驟二：打開文件：

打開文件，根據文件名信息獲取對應的ffmpeg全局上下文。

步驟三：探測流信息：

一定要探測流信息，拿到流編碼的編碼格式，不探測流信息則其流編碼器拿到的編碼類型可能為空，后續進行數據轉換的時候就無法知曉原始格式，導致錯誤。

步驟四：查找對應的解碼器

依據流的格式查找解碼器，軟解碼還是硬解碼是在此處決定的，但是特別注意是否支持硬件，需要自己查找本地的硬件解碼器對應的標識，並查詢其是否支持。普遍操作是，枚舉支持文件后綴解碼的所有解碼器進行查找，查找到了就是可以硬解了（此處，不做過多的討論，對應硬解碼后續會有文章進行進一步研究）。
（注意：解碼時查找解碼器，編碼時查找編碼器，兩者函數不同，不要弄錯了，否則后續能打開但是數據是錯的）

步驟五：打開解碼器

打開獲取到的解碼器。

步驟六：申請縮放數據格式轉換結構體

此處特別注意，基本上解碼的數據都是yuv系列格式，但是我們顯示的數據是rgb等相關顏色空間的數據，所以此處轉換結構體就是進行轉換前到轉換后的描述，給后續轉換函數提供轉碼依據，是很關鍵並且非常常用的結構體。

步驟七：申請緩存區

申請一個緩存區outBuffer，fill到我們目標幀數據的data上，比如rgb數據，QAVFrame的data上存是有指定格式的數據，且存儲有規則，而fill到outBuffer（自己申請的目標格式一幀緩存區），則是我們需要的數據格式存儲順序。
舉個例子，解碼轉換后的數據為rgb888，實際直接用data數據是錯誤的，但是用outBuffer就是對的，所以此處應該是ffmpeg的fill函數做了一些轉換。
進入循環解碼：

步驟八：分組數據包送往解碼器（此處由一個步驟變為了步驟八和步驟九）

拿取封裝的一個packet，判斷packet數據的類型進行送往解碼器解碼。

步驟九：從解碼器緩存中獲取解碼后的數據

一個包可能存在多組數據，老的api獲取的是第一個，新的api分開后，可以循環獲取，直至獲取不到跳轉“步驟十二”。

步驟十一：自行處理

拿到了原始數據自行處理。
不斷循環，直到拿取pakcet函數成功，但是無法got一幀數據，則代表文件解碼已經完成。
幀率需要自己控制循環，此處只是循環拿取，可加延遲等。

步驟十二：釋放QAVPacket

此處要單獨列出是因為，其實很多網上和開發者的代碼：
在進入循環解碼前進行了av_new_packet，循環中未av_free_packet，造成內存溢出；
在進入循環解碼前進行了av_new_packet，循環中進行av_free_pakcet，那么一次new對應無數次free，在編碼器上是不符合前后一一對應規范的。
查看源代碼，其實可以發現av_read_frame時，自動進行了av_new_packet()，那么其實對於packet，只需要進行一次av_packet_alloc()即可，解碼完后av_free_packet。
執行完后，返回執行“步驟八：獲取一幀packet”，一次循環結束。

步驟十三：釋放轉換結構體

全部解碼完成后，安裝申請順序，進行對應資源的釋放。

步驟十四：關閉解碼/編碼器

關閉之前打開的解碼/編碼器。

步驟十五：關閉上下文

關閉文件上下文后，要對之前申請的變量按照申請的順序，依次釋放。

ffmpeg解碼相關變量

AVFormatContext

AVFormatContext描述了一個媒體文件或媒體流的構成和基本信息，位於avformat.h文件中。

AVInputFormat

AVInputFormat 是類似COM 接口的數據結構，表示輸入文件容器格式，着重於功能函數，一種文件容器格式對應一個AVInputFormat 結構，在程序運行時有多個實例，位於avoformat.h文件中。

AVDictionary

AVDictionary 是一個字典集合，鍵值對，用於配置相關信息。

AVCodecContext

AVCodecContext是一個描述編解碼器上下文的數據結構，包含了眾多編解碼器需要的參數信息，位於avcodec.h文件中。

AVPacket

AVPacket是FFmpeg中很重要的一個數據結構，它保存了解復用（demuxer)之后，解碼（decode）之前的數據（仍然是壓縮后的數據）和關於這些數據的一些附加的信息，如顯示時間戳（pts），解碼時間戳（dts）,數據時長（duration），所在流媒體的索引（stream_index）等等。
使用前，使用av_packet_alloc()分配，

AVCodec

AVCodec是存儲編解碼器信息的結構體，位於avcodec.h文件中。

AVFrame

AVFrame中存儲的是經過解碼后的原始數據。在解碼中，AVFrame是解碼器的輸出；在編碼中，AVFrame是編碼器的輸入。
使用前，使用av_frame_alloc()進行分配。

struct SwsContext

使用前，使用sws_getContext()進行獲取，主要用於視頻圖像的轉換。

本文章博客地址：https://blog.csdn.net/qq21497936/article/details/108639103

ffmpeg解碼流程相關函數原型

av_register_all

void av_register_all(void);

初始化libavformat並注冊所有muxer、demuxer和協議。如果不調用此函數，則可以選擇想要指定注冊支持的哪種格式，通過av_register_input_format()、av_register_output_format()。

avformat_open_input

int avformat_open_input(AVFormatContext **ps,
                        const char *url,
                        AVInputFormat *fmt, 
                        AVDictionary **options);

打開輸入流並讀取標頭。編解碼器未打開。流必須使用avformat_close_input()關閉，返回0-成功，<0-失敗錯誤碼。

參數一：指向用戶提供的AVFormatContext（由avformat_alloc_context分配）的指針。
參數二：要打開的流的url
參數三：fmt如果非空，則此參數強制使用特定的輸入格式。否則將自動檢測格式。
參數四：包含AVFormatContext和demuxer私有選項的字典。返回時，此參數將被銷毀並替換為包含找不到的選項。都有效則返回為空。

avformat_find_stream_info

int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options);
讀取檢查媒體文件的數據包以獲取具體的流信息，如媒體存入的編碼格式。

參數一：媒體文件上下文。
參數二：字典，一些配置選項。

avcodec_find_decoder

AVCodec *avcodec_find_decoder(enum AVCodecID id);

查找具有匹配編解碼器ID的已注冊解碼器，解碼時，已經獲取到了，注冊的解碼器可以通過枚舉查看，枚舉太多，略。

avcodec_open2

int avcodec_open2(AVCodecContext *avctx, 
                  const AVCodec *codec, 
                  AVDictionary **options);

初始化AVCodeContext以使用給定的AVCodec。

sws_getContext

struct SwsContext *sws_getContext(int srcW, 
                                  int srcH, 
                                  enum AVPixelFormat srcFormat,
                                  int dstW,
                                  int dstH, 
                                  enum AVPixelFormat dstFormat,
                                  int flags, SwsFilter *srcFilter,
                                  SwsFilter *dstFilter,
                                  const double *param);

分配並返回一個SwsContext。需要它來執行sws_scale()進行縮放/轉換操作。

avpicture_get_size

int avpicture_get_size(enum AVPixelFormat pix_fmt, int width, int height);

返回存儲具有給定參數的圖像的緩存區域大小。

參數一：圖像的像素格式
參數二：圖像的像素寬度
參數三：圖像的像素高度

avpicture_fill

int avpicture_fill(AVPicture *picture,
              const uint8_t *ptr,
              enum AVPixelFormat pix_fmt,
              int width,
              int height);

根據指定的圖像、提供的數組設置數據指針和線條大小參數。

參數一：輸入AVFrame指針，強制轉換為AVPciture即可。
參數二：映射到的緩存區，開發者自己申請的存放圖像數據的緩存區。
參數三：圖像數據的編碼格式。
參數四：圖像像素寬度。
參數五：圖像像素高度。

av_read_frame

int av_read_frame(AVFormatContext *s, AVPacket *pkt);

返回流的下一幀。此函數返回存儲在文件中的內容，不對有效的幀進行驗證。獲取存儲在文件中的幀中，並為每個調用返回一個。不會的省略有效幀之間的無效數據，以便給解碼器最大可用於解碼的信息。
返回0是成功，小於0則是錯誤，大於0則是文件末尾，所以大於等於0是返回成功。

avcodec_decode_video2：老解碼api

int avcodec_decode_video2(AVCodecContext *avctx,
                          AVFrame *picture,
                          int *got_picture_ptr,
                          const AVPacket *avpkt);

將大小為avpkt->size from avpkt->data的視頻幀解碼為圖片。一些解碼器可以支持單個avpkg包中的多個幀，解碼器將只解碼第一幀。出錯時返回負值，否則返回字節數，如果沒有幀可以解壓縮，則為0。

參數一：編解碼器上下文。
參數二：將解碼視頻幀存儲在AVFrame中。
參數三：輸入緩沖區的AVPacket。
參數四：如果沒有幀可以解壓，那么得到的圖片是0，否則，它是非零的。

avcodec_send_packet：ffmpeg3新增解碼發送數據包給解碼器

int avcodec_send_packet(AVCodecContext *avctx, const AVPacket *avpkt);

將原始分組數據發送給解碼器。
在內部，此調用將復制相關的AVCodeContext字段，這些字段可以影響每個數據包的解碼，並在實際解碼數據包時應用這些字段。（例如AVCodeContext.skip_frame，這可能會指示解碼器丟棄使用此函數發送的數據包所包含的幀。）
這個函數可以理解為ffmpeg為多線程准備的，將解碼數據幀包送入編碼器理解為一個線程，將從編碼器獲取解碼后的數據理解為一個線程。

參數一：編解碼器上下文
參數二：avpkt輸入的AVPacket。通常，這將是一個單一的視頻幀，或幾個完整的音頻幀。數據包的所有權歸調用者所有，解碼器不會寫入數據包。解碼器可以創建對分組數據的引用（如果分組沒有被引用計數，則復制它）。與舊的API不同，數據包總是被完全消耗掉，如果它包含多個幀（例如某些音頻編解碼器），則需要在發送新數據包之前多次調用avcodec_receive_frame()。它可以是NULL（或者數據設置為NULL且大小設置為0的AVPacket）；在這種情況下，它被認為是一個刷新包，它發出流結束的信號。發送第一個刷新包將返回成功。后續的是不必要的，將返回AVERROR ou EOF。如果解碼器仍有幀緩沖，它將在發送刷新包后返回它們。

avcodec_receive_frame：ffmpeg3新增解碼從解碼器獲取解碼后的幀

int avcodec_receive_frame(AVCodecContext *avctx, AVFrame *frame);

從解碼器返回解碼輸出數據。這個函數可以理解為ffmpeg為多線程准備的，將解碼數據幀包送入編碼器理解為一個線程，將從編碼器獲取解碼后的數據理解為一個線程。

參數一：編解碼器上下文
參數二：這將被設置為參考計數的視頻或音頻解碼器分配的幀（取決於解碼器類型）。請注意，函數在執行任何其他操作之前總是調用av_frame_unref（frame）。初始化libavformat並注冊所有muxer、demuxer和協議。如果不調用此函數，則可以選擇想要指定注冊支持的哪種格式，av_register_input_format()、av_register_output_format()。

avcodec_decode_video2

int avcodec_decode_video2(AVCodecContext *avctx,
                          AVFrame *picture,
                          int *got_picture_ptr,
                          const AVPacket *avpkt);