本文主要介紹ffmpeg,文章來自博客園RTC.Blacker,支持原創,轉載必須說明出處,個人微信公眾號blacker,更多詳見www.rtc.help
說明:
ps1:如果直接從webrtc開始學習音視頻,你可能沒聽過ffmpeg,也不需要用到,但隨着個人能力提升,你會發現這套東西確實很有用。
就我目前接觸到的音視頻企業,還沒有碰到過沒用過ffmpeg的(視頻廠商都會對用戶上傳的視頻文件做轉碼,因為他們的客戶端在播放的時候需要根據不同客戶端的網絡帶寬適配不同分辨率,或做些自定義開發),由此可見其強大之處。
ps2:介紹ffmpeg的文章很多,很多都寫得很詳細,所以我也沒有必要從頭到尾介紹,本文主要是綜合官網和各位前輩的成果(末尾有說明文章來源),然后加入一些直白的解釋,以便於大家能更好地理解。
下面開始ffmpeg學習之旅:
1,有不少人不清楚“FFmpeg”應該怎么讀。它讀作“ef ef em peg”
2,ffmpeg作用是什么?
回答:對視頻文件進行編碼,轉碼,播放,剪輯,加字幕都可以用到ffmpeg,下面是官網的詳細解釋:
2.1,“FFmpeg is the leading multimedia framework, able to decode, encode, transcode, mux, demux, stream, filter and play pretty much anything that humans and machines have created”。
2.2,A complete, cross-platform solution to record, convert and stream audio and video
3,哪里用到了ffmpeg?
回答:幾乎主流的多媒體播放框架都用到了ffmpeg,如Mplayer,ffplay,射手播放器,暴風影音,KMPlayer,QQ影音...
下面是ffmpeg播放多媒體文件的流程:
3.1. 解復用(Demux)
當我們打開一個多媒體文件之后,第一步就是解復用,稱之為Demux。為什么需要這一步,這一步究竟是做什么的?
我們知道在一個多媒體文件中,既包括音頻也包括視頻,而且音頻和視頻都是分開進行壓縮的,因為音頻和視頻的壓縮算法不一樣,既然壓縮算法不一樣,那么肯定解碼也不一樣,所以需要先對音頻和視頻分別進行解碼。
雖然音頻和視頻是分開進行壓縮的,但是為了傳輸過程的方便,將壓縮過的音頻和視頻捆綁在一起進行傳輸。
所以我們解碼的第一步就是將這些綁在一起的音頻和視頻流分開來,也就是傳說中的解復用.
所以一句話,解復用這一步就是將文件中捆綁在一起的音頻流和視頻流分開來以方便后面分別對它們進行解碼,下面就是Demux之后的效果。
3.2. 解碼(Decode)
這一步不用多說,一個多媒體文件肯定是經過某種或幾種格式的壓縮的,也就是通常所說的視頻和音頻編碼。
編碼是為了減少數據量,否則的話對我們的存儲設備和網絡帶寬都是很大的挑戰,所以我們必須對媒體信息進行盡可能的壓縮。
3.3. FFmpeg中解碼流程對應的API函數
了解了上面的一個媒體文件從打開到解碼的流程,就可以很輕松的閱讀ffmpeg代碼,ffmpeg的框架也基本是按照這個流程來的,但不是每個流程對應一個API,下面這張圖是我分析ffmpeg並根據自己的理解得到的ffmpeg解碼流程對應的API,我想這幅圖應該對理解ffmpeg和編解碼有一些幫助。
Ffmpeg中Demux這一步是通過avformat_open_input()這個api來做的,這個api讀出文件的頭部信息,並做demux,在此之后我們就可以讀取媒體文件中的音頻和視頻流,然后通過av_read_frame()從音頻和視頻流中讀取出基本數據流packet,然后將packet送到avcodec_decode_video2()和相對應的api進行解碼。
4,更多ffmepg資料參考:
4.1,http://blog.csdn.net/leixiaohua1020/article/details/15811977,雷神這邊資料很多,很豐富。
4.2,http://blog.chinaunix.net/uid-26611383-id-3976154.html,上面第三點主要參考自三哥這邊。
4.3,http://ffmpeg.org/,官網
喜歡系列文章請關注我的微信公眾號blacker,或掃描下方二維碼: