閱讀目錄
視頻是怎么被播放的?
我們知道,當下大多數播放器都是基於ffmpeg二次開發的。你有沒有想過,你用播放器打開一個視頻的時候,是怎么看到的畫面,怎么聽到的聲音?
我們用這張圖簡單描繪出視頻被播放的流程。
下面稍微解釋下圖中的含義。
- 解封裝:播放器將輸入的封裝格式(mp4、mkv)的數據分離,產生音頻流和視頻流兩部分,注意此時這兩部分數據還只是壓縮的數據,類似分流,后面我們也會介紹如何從視頻文件中抽離出音頻和視頻。
- 下一步就是解碼操作了,我們說解碼就是將視頻、音頻壓縮的編碼數據,解碼成為非壓縮的視頻、音頻原始數據。這里將音頻解碼為pcm格式的數據,將視頻解碼為yuv格式的數據。
- 音視頻同步播放:把解封裝和解碼分別拿到的視頻信息和音視頻數據,發送給顯卡和聲卡即可播放。
ffmpeg命令的格式
我們在音視頻基礎概念一文中介紹轉碼的時候,拋出過一條轉碼的命令,如下
ffmpeg -i input.flv output.mp4
對於ffmpeg命令的基本格式,參考ffmpeg官網
ffmpeg [global_options] {[input_file_options] -i input_url} ... {[output_file_options] output_url} ...
翻譯過來就是
ffmpeg [全局選項] {[輸入文件選項] -i 輸入文件} ... {[輸出文件選項] 輸出文件} ...
... 表示一條命令可能會有多個輸入和多個輸出。
比如我們可以通過輸入多個文件轉碼后輸出多個文件
ffmpeg -i input1 -i input2 \
-acodec … -vcodec … output1 \
-acodec … -vcodec … output2 \
-acodec … -vcodec … output3
據不完全統計,ffmpeg命令的選項數量就有小幾萬,所以不僅要多掌握學習技巧,更多的是多積累經驗,靠死記硬背是完全行不通的。
那么多的選項,體現在一條命令上,一個基本的通用規則就是:
輸入文件選項只作用於它后面的第一個輸入文件,自然,輸出文件選項也只作用於它后面的第一個輸出文件。所以是有順序要求的。
全局選項倒是可以隨便寫,比如有個全局選項 -y,詢問我們是否要覆蓋輸出,下面兩種寫法都可以
ffmpeg -y -i input.flv output.mp4
ffmpeg -i input.flv -y output.mp4
但是,如果命令很長很長(比如我們前面給的音視頻案例,一條命令甚至都有幾百個字符),類似這種全局選項,最好寫在輸入文件前面或者輸出文件前面。
另外,千萬不要先寫輸出文件,再寫輸入文件,至少應該寫完輸入文件,再寫輸出文件,比如下面這樣就是不好的寫法
ffmpeg output.mp4 -i input.flv
良好的習慣才是好的開始。
ffmpeg轉碼輸出的過程
ffmpeg -i input.flv output.mp4
還是上面這條簡單的轉碼命令,對於類似這樣的一條命令,對於ffmpeg,又是怎么處理的呢?
我們用下面這個圖來表示轉碼輸出的過程。
具體描述如下
- ffmpeg 調用一個包含解復用器demuxer的libavformat庫,從輸入文件中讀取包含編碼的數據包
- 然后將編碼的數據包傳遞給解碼器(decoder)(流復制操作忽略該步驟)
- 解碼器(decoder)產生未壓縮的幀(即原始幀)可以進一步被濾鏡處理
- 接下來,被濾鏡處理的原始數據被傳遞給編碼器(encoder)
- 編碼器對傳遞過來的數據進行編碼並輸出編碼數據包
- 最后,這些數據被復用器(muxer)寫入輸出文件。
任何復雜的命令,都必須經過上面這樣的轉碼過程,底層代碼你可以不看,但是整個過程必須了解。