FFMPEG-數據結構解釋(AVCodecContext,AVStream,AVFormatContext)


http://blog.csdn.net/yuan892173701/article/details/8702333

 

AVCodecContext

 這是一個描述編解碼器上下文的數據結構,包含了眾多編解碼器需要的參數信息

 如果是單純使用libavcodec,這部分信息需要調 用者進行初始化;如果是使用整個FFMPEG庫,這部分信息在調用 av_open_input_file和av_find_stream_info的過程中根據文件的頭信息及媒體流內的頭部信息完成初始化。其中幾個主要 域的釋義如下:

  1. extradata/extradata_size: 這個buffer中存放了解碼器可能會用到的額外信息,在av_read_frame中填充。一般來說,首先,某種具體格式的demuxer在讀取格式頭 信息的時候會填充extradata,其次,如果demuxer沒有做這個事情,比如可能在頭部壓根兒就沒有相關的編解碼信息,則相應的parser會繼 續從已經解復用出來的媒體流中繼續尋找。在沒有找到任何額外信息的情況下,這個buffer指針為空。
  2. time_base:
  3. width/height:視頻的寬和高。
  4. sample_rate/channels:音頻的采樣率和信道數目。
  5. sample_fmt: 音頻的原始采樣格式。
  6. codec_name/codec_type/codec_id/codec_tag:編解碼器的信息。

AVStream

 該結構體描述一個媒體流

 主要域的釋義如下,其中大部分域的值可以由av_open_input_file根據文件頭的信息確定,缺少的信息需要通過調用av_find_stream_info讀幀及軟解碼進一步獲取:

  1. index/id:index對應流的索引,這個數字是自動生成的,根據index可以從AVFormatContext::streams表中索引到該流;而id則是流的標識,依賴於具體的容器格式。比如對於MPEG TS格式,id就是pid。
  2. time_base:流的時間基准,是一個實數,該流中媒體數據的pts和dts都將以這個時間基准為粒度。通常,使用av_rescale/av_rescale_q可以實現不同時間基准的轉換。
  3. start_time:流的起始時間,以流的時間基准為單位,通常是該流中第一個幀的pts。
  4. duration:流的總時間,以流的時間基准為單位。
  5. need_parsing:對該流parsing過程的控制域。
  6. nb_frames:流內的幀數目。
  7. r_frame_rate/framerate/avg_frame_rate:幀率相關。
  8. codec:指向該流對應的AVCodecContext結構,調用av_open_input_file時生成。
  9. parser:指向該流對應的AVCodecParserContext結構,調用av_find_stream_info時生成。

AVFormatContext

   這個結構體描述了一個媒體文件或媒體流的構成和基本信息

 這是FFMpeg中最為基本的一個結構,是其他所有結構的根,是一個多媒體文件或流的根本抽象。其中:nb_streams和streams所表示的AVStream結構指針數組包含了所有內嵌媒體流的描述;iformat和oformat指向對應的demuxer和muxer指針;pb則指向一個控制底層數據讀寫的ByteIOContext結構。

  •     start_time和duration是從streams數組的各個AVStream中推斷出的多媒體文件的起始時間和長度,以微妙為單位。

通常,這個結構由av_open_input_file在內部創建並以缺省值初始化部分成員。但是,如果調用者希望自己創建該結構,則需要顯式為該結構的一些成員置缺省值——如果沒有缺省值的話,會導致之后的動作產生異常。以下成員需要被關注:

  •     probesize
  •     mux_rate
  •     packet_size
  •     flags
  •     max_analyze_duration
  •     key
  •     max_index_size
  •     max_picture_buffer
  •     max_delay

 

AVPacket

 AVPacket定義在avcodec.h中

 FFMPEG使用AVPacket來暫存解復用之后、解碼之前的媒體數據(一個音/視頻幀、一個字幕包等)及附加信息(解碼時間戳、顯示時間戳、時長等)。其中:

  •     dts 表示解碼時間戳,pts表示顯示時間戳,它們的單位是所屬媒體流的時間基准。
  •     stream_index 給出所屬媒體流的索引;
  •     data 為數據緩沖區指針,size為長度;
  •     duration 為數據的時長,也是以所屬媒體流的時間基准為單位;
  •     pos 表示該數據在媒體流中的字節偏移量;
  •     destruct 為用於釋放數據緩沖區的函數指針;
  •     flags 為標志域,其中,最低為置1表示該數據是一個關鍵幀。

 AVPacket 結構本身只是個容器,它使用data成員指向實際的數據緩沖區,這個緩沖區可以通過av_new_packet創建,可以通過     av_dup_packet 拷貝,也可以由FFMPEG的API產生(如av_read_frame),使用之后需要通過調用av_free_packet釋放。            

av_free_packet調用的是結構體本身的 destruct函數,它的值有兩種情況:(1)av_destruct_packet_nofree或 0;(2)av_destruct_packet,其中,前者僅僅是將data和size的值清0而已,后者才會真正地釋放緩沖區。FFMPEG內部使用 AVPacket結構建立緩沖區裝載數據,同時提供destruct函數,如果FFMPEG打算自己維護緩沖區,則將destruct設為 av_destruct_packet_nofree,用戶調用av_free_packet清理緩沖區時並不能夠將其釋放;如果FFMPEG不會再使用 該緩沖區,則將destruct設為av_destruct_packet,表示它能夠被釋放。對於緩沖區不能夠被釋放的AVPackt,用戶在使用之前 最好調用av_dup_packet進行緩沖區的克隆,將其轉化為緩沖區能夠被釋放的AVPacket,以免對緩沖區的不當占用造成異常錯誤。而 av_dup_packet會為destruct指針為av_destruct_packet_nofree的AVPacket新建一個緩沖區,然后將原 緩沖區的數據拷貝至新緩沖區,置data的值為新緩沖區的地址,同時設destruct指針為av_destruct_packet。

時間信息

 時間信息用於實現多媒體同步。

 同步的目的在於展示多媒體信息時,能夠保持媒體對象之間 固有的時間關系。同步有兩類,一類是流內同步,其主要任務是保證單個媒體流內的時間關系,以滿足感知 要求,如按照規定的幀率播放一段視頻;另一類是流間同步,主要任務是保證不同媒體流之間的時間關系,如音頻和視頻之間的關系(lipsync)。

 對於固定速率的媒體,如固定幀率的視頻或固定比特率的音頻,可以將時間信息(幀率或比特率)置於文件首部(header),如AVI的hdrl List、MP4的moov box還有一種相對復雜的方案是將時間信息嵌入媒體流的內部,如MPEG TS和Real video,這種方案可以處理變速率的媒體,亦可有效避免同步過程中的時間漂移。

 FFMPEG會為每一個數據包打上時間標 簽,以更有效地支持上層應用的同步機制。時間標簽有兩種,一種是DTS,稱為解碼時間標簽,另一種是PTS,稱為顯示時間標簽。對於聲音來說 ,這兩個時間標簽是相同的,但對於某些視頻編碼格式,由於采用了雙向預測技術,會造成DTS和PTS的不一致。

時間信息的獲取:

 通過調用av_find_stream_info,多媒體應用可以從AVFormatContext對象中拿到媒體文件的時間信息:主要是總時間長度和開始時間,此外還有與時間信息相關的比特率和文件大小。其中時間信息的單位是AV_TIME_BASE:微秒。

 

The parser is only that, a parser. It parses the data, extracts some
metadata and puts complete frames back together, it doesn't do any
actual decoding.

 

 


 

http://trac.ffmpeg.org/ticket/500

 

Q:解碼出來的圖片的時間戳問題 MPEG一個包中包含有時間戳, 而可能幾個包才能解碼出一張圖象, 也可能一個包能解碼出幾張圖, 請問包中的時間戳與解碼出來的圖象如何對應上?

 

A: 在ffmpeg中通過parser部件把從 avformat部件取下來的原始包重新“合成”為有僅包含一個完整幀的包。從MPEG2部份的代碼中看出,如果“幾個包才能解碼出一張圖象”的話,會取 第一個包的PTS和DTS,如果“也可能一個包能解碼出幾張圖”,則會跟據這個包的PTS和DTS通過幀頻推算出其它幀的DTS。

 

http://www.cnblogs.com/loveclover/archive/2011/03/23/1993065.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM