http://blog.csdn.net/yuan892173701/article/details/8702333
AVCodecContext
這是一個描述編解碼器上下文的數據結構,包含了眾多編解碼器需要的參數信息
如果是單純使用libavcodec,這部分信息需要調 用者進行初始化;如果是使用整個FFMPEG庫,這部分信息在調用 av_open_input_file和av_find_stream_info的過程中根據文件的頭信息及媒體流內的頭部信息完成初始化。其中幾個主要 域的釋義如下:
- extradata/extradata_size: 這個buffer中存放了解碼器可能會用到的額外信息,在av_read_frame中填充。一般來說,首先,某種具體格式的demuxer在讀取格式頭 信息的時候會填充extradata,其次,如果demuxer沒有做這個事情,比如可能在頭部壓根兒就沒有相關的編解碼信息,則相應的parser會繼 續從已經解復用出來的媒體流中繼續尋找。在沒有找到任何額外信息的情況下,這個buffer指針為空。
- time_base:
- width/height:視頻的寬和高。
- sample_rate/channels:音頻的采樣率和信道數目。
- sample_fmt: 音頻的原始采樣格式。
- codec_name/codec_type/codec_id/codec_tag:編解碼器的信息。
AVStream
該結構體描述一個媒體流
主要域的釋義如下,其中大部分域的值可以由av_open_input_file根據文件頭的信息確定,缺少的信息需要通過調用av_find_stream_info讀幀及軟解碼進一步獲取:
- index/id:index對應流的索引,這個數字是自動生成的,根據index可以從AVFormatContext::streams表中索引到該流;而id則是流的標識,依賴於具體的容器格式。比如對於MPEG TS格式,id就是pid。
- time_base:流的時間基准,是一個實數,該流中媒體數據的pts和dts都將以這個時間基准為粒度。通常,使用av_rescale/av_rescale_q可以實現不同時間基准的轉換。
- start_time:流的起始時間,以流的時間基准為單位,通常是該流中第一個幀的pts。
- duration:流的總時間,以流的時間基准為單位。
- need_parsing:對該流parsing過程的控制域。
- nb_frames:流內的幀數目。
- r_frame_rate/framerate/avg_frame_rate:幀率相關。
- codec:指向該流對應的AVCodecContext結構,調用av_open_input_file時生成。
- parser:指向該流對應的AVCodecParserContext結構,調用av_find_stream_info時生成。
AVFormatContext
這個結構體描述了一個媒體文件或媒體流的構成和基本信息
這是FFMpeg中最為基本的一個結構,是其他所有結構的根,是一個多媒體文件或流的根本抽象。其中:nb_streams和streams所表示的AVStream結構指針數組包含了所有內嵌媒體流的描述;iformat和oformat指向對應的demuxer和muxer指針;pb則指向一個控制底層數據讀寫的ByteIOContext結構。
- start_time和duration是從streams數組的各個AVStream中推斷出的多媒體文件的起始時間和長度,以微妙為單位。
通常,這個結構由av_open_input_file在內部創建並以缺省值初始化部分成員。但是,如果調用者希望自己創建該結構,則需要顯式為該結構的一些成員置缺省值——如果沒有缺省值的話,會導致之后的動作產生異常。以下成員需要被關注:
- probesize
- mux_rate
- packet_size
- flags
- max_analyze_duration
- key
- max_index_size
- max_picture_buffer
- max_delay
AVPacket
AVPacket定義在avcodec.h中
FFMPEG使用AVPacket來暫存解復用之后、解碼之前的媒體數據(一個音/視頻幀、一個字幕包等)及附加信息(解碼時間戳、顯示時間戳、時長等)。其中:
- dts 表示解碼時間戳,pts表示顯示時間戳,它們的單位是所屬媒體流的時間基准。
- stream_index 給出所屬媒體流的索引;
- data 為數據緩沖區指針,size為長度;
- duration 為數據的時長,也是以所屬媒體流的時間基准為單位;
- pos 表示該數據在媒體流中的字節偏移量;
- destruct 為用於釋放數據緩沖區的函數指針;
- flags 為標志域,其中,最低為置1表示該數據是一個關鍵幀。
AVPacket 結構本身只是個容器,它使用data成員指向實際的數據緩沖區,這個緩沖區可以通過av_new_packet創建,可以通過 av_dup_packet 拷貝,也可以由FFMPEG的API產生(如av_read_frame),使用之后需要通過調用av_free_packet釋放。
av_free_packet調用的是結構體本身的 destruct函數,它的值有兩種情況:(1)av_destruct_packet_nofree或 0;(2)av_destruct_packet,其中,前者僅僅是將data和size的值清0而已,后者才會真正地釋放緩沖區。FFMPEG內部使用 AVPacket結構建立緩沖區裝載數據,同時提供destruct函數,如果FFMPEG打算自己維護緩沖區,則將destruct設為 av_destruct_packet_nofree,用戶調用av_free_packet清理緩沖區時並不能夠將其釋放;如果FFMPEG不會再使用 該緩沖區,則將destruct設為av_destruct_packet,表示它能夠被釋放。對於緩沖區不能夠被釋放的AVPackt,用戶在使用之前 最好調用av_dup_packet進行緩沖區的克隆,將其轉化為緩沖區能夠被釋放的AVPacket,以免對緩沖區的不當占用造成異常錯誤。而 av_dup_packet會為destruct指針為av_destruct_packet_nofree的AVPacket新建一個緩沖區,然后將原 緩沖區的數據拷貝至新緩沖區,置data的值為新緩沖區的地址,同時設destruct指針為av_destruct_packet。
時間信息
時間信息用於實現多媒體同步。
同步的目的在於展示多媒體信息時,能夠保持媒體對象之間 固有的時間關系。同步有兩類,一類是流內同步,其主要任務是保證單個媒體流內的時間關系,以滿足感知 要求,如按照規定的幀率播放一段視頻;另一類是流間同步,主要任務是保證不同媒體流之間的時間關系,如音頻和視頻之間的關系(lipsync)。
對於固定速率的媒體,如固定幀率的視頻或固定比特率的音頻,可以將時間信息(幀率或比特率)置於文件首部(header),如AVI的hdrl List、MP4的moov box,還有一種相對復雜的方案是將時間信息嵌入媒體流的內部,如MPEG TS和Real video,這種方案可以處理變速率的媒體,亦可有效避免同步過程中的時間漂移。
FFMPEG會為每一個數據包打上時間標 簽,以更有效地支持上層應用的同步機制。時間標簽有兩種,一種是DTS,稱為解碼時間標簽,另一種是PTS,稱為顯示時間標簽。對於聲音來說 ,這兩個時間標簽是相同的,但對於某些視頻編碼格式,由於采用了雙向預測技術,會造成DTS和PTS的不一致。
時間信息的獲取:
通過調用av_find_stream_info,多媒體應用可以從AVFormatContext對象中拿到媒體文件的時間信息:主要是總時間長度和開始時間,此外還有與時間信息相關的比特率和文件大小。其中時間信息的單位是AV_TIME_BASE:微秒。
The parser is only that, a parser. It parses the data, extracts some
metadata and puts complete frames back together, it doesn't do any
actual decoding.
http://trac.ffmpeg.org/ticket/500
Q:解碼出來的圖片的時間戳問題 MPEG一個包中包含有時間戳, 而可能幾個包才能解碼出一張圖象, 也可能一個包能解碼出幾張圖, 請問包中的時間戳與解碼出來的圖象如何對應上?
A: 在ffmpeg中通過parser部件把從 avformat部件取下來的原始包重新“合成”為有僅包含一個完整幀的包。從MPEG2部份的代碼中看出,如果“幾個包才能解碼出一張圖象”的話,會取 第一個包的PTS和DTS,如果“也可能一個包能解碼出幾張圖”,則會跟據這個包的PTS和DTS通過幀頻推算出其它幀的DTS。
http://www.cnblogs.com/loveclover/archive/2011/03/23/1993065.html