你真的懂 MP4 格式嗎？

MP4 文件格式又被稱為 MPEG-4 Part 14，出自 MPEG-4 標准第 14 部分 。它是一種多媒體格式容器，廣泛用於包裝視頻和音頻數據流、海報、字幕和元數據等。（順便一提，目前流行的視頻編碼格式 AVC/H264 定義在 MPEG-4 Part 10）。MP4 文件格式基於 Apple 公司的 QuickTime 格式，因此，QuickTime File Format Specification 也可以作為我們研究 MP4 的重要參考。

作者：張武星
審核：泰一

Overview

MP4 文件由 box 組成，每個 box 分為 Header 和 Data。其中 Header 部分包含了 box 的類型和大小，Data 包含了子 box 或者數據，box 可以嵌套子 box。

下圖是一個典型 MP4 文件的基本結構：

圖中看到 MP4 文件有幾個主要組成部分：

fytp

File Type Box，一般在文件的開始位置，描述的文件的版本、兼容協議等。

moov

Movie Box，包含本文件中所有媒體數據的宏觀描述信息以及每路媒體軌道的具體信息。一般位於 ftyp 之后，也有的視頻放在文件末尾。注意，當改變 moov 位置時，內部一些值需要重新計算。

mdat

Media Data Box，存放具體的媒體數據。

Moov Insider

MP4 的媒體數據信息主要存放在 Moov Box 中，是我們需要分析的重點。moov 的主要組成部分如下：

mvhd

Movie Header Box，記錄整個媒體文件的描述信息，如創建時間、修改時間、時間度量標尺、可播放時長等。

下圖示例中，可以獲取文件信息如時長為 3.637 秒。

udta

User Data Box，自定義數據。

track

Track Box，記錄媒體流信息，文件中可以存在一個或多個 track，它們之間是相互獨立的。每個 track 包含以下幾個組成部分：

tkhd

Track Header Box，包含關於媒體流的頭信息。

下圖示例中，可以看到流信息如視頻流寬度 720，長度 1280。

mdia

Media Box，這是一個包含 track 媒體數據信息的 container box。子 box 包括：

• mdhd：Media Header Box，存放視頻流創建時間，長度等信息。
• hdlr：Handler Reference Box，媒體的播放過程信息。
• minf：Media Information Box，解釋 track 媒體數據的 handler-specific 信息。minf 同樣是個 container box，其內部需要關注的內容是 stbl，這也是 moov 中最復雜的部分。

stbl 包含了媒體流每一個 sample 在文件中的 offset，pts，duration 等信息。想要播放一個 MP4 文件，必須根據 stbl 正確找到每個 sample 並送給解碼器。

mdia 展開如下圖所示：

Stbl Insider

Sample Table Box，上文提到 mdia 中最主要的部分是存放文件中每個 Sample 信息的 stbl。在解析 stbl 前，我們需要區分 Chunk 和 Sample 這兩個概念。

在 MP4 文件中，Sample 是一個媒體流的基本單元，例如視頻流的一個 Sample 代表實際的 nal 數據。Chunk 是數據存儲的基本單位，它是一系列 Sample 數據的集合，一個 Chunk 中可以包含一個或多的 Sample。

stbl 用來描述每個 Sample 的信息，包含以下幾個主要的子 box：

stsd

Sample Description Box，存放解碼必須的描述信息。

下圖示例中，對於 h264 的視頻流，其具體類型為 avc1，extensions 中存放有 sps，pps 等解碼必要信息。

stts

Time-to-Sample Box，定義每個 Sample 時長。Time To Sample 的 table entry 布局如下：

• Sample count：sample 個數
• Sample duration：sample 持續時間

持續時間相同的連續的 Sample 可以放到一個 entry 里面，以達到節省空間的目的。

下圖示例中，第 1 個 Sample 時間為 33362 微秒，第 2-11 個 Sample 時間為 33363 微秒：

stss

Sync Sample Box，同步 Sample 表，存放關鍵幀列表，關鍵幀是為了支持隨機訪問。
stss 的 table entry 布局如下：

下圖示例中，該視頻 track 只有一個關鍵幀即第 1 幀：

stsc

Sample-To-Chunk Box，Sample-Chunk 映射表。上文提到 MP4 通常把 Sample 封裝到 Chunk 中，一個 Chunk 可能會包含一個或者幾個 Sample。Sample-To-Chunk Atom 的 table entry 布局如下圖所示：

• First chunk：使用該表項的第一個 chunk 序號。
• Samples per chunk：使用該表項的 chunk 中包含有幾個 sample。
• Sample description ID：使用該表項的 chunk 參考的 stsd 表項序號。

下圖示例中，可以看到該視頻 track 一共有兩個 stsc 表項，Chunk 序列 1-108，每個 Chunk 包含一個 sample，Chunk 序列 109 開始，每個 Chunk 包含兩個 Sample。

stsz

Sample Size Box，指定了每個 Sample 的 size。Sample Size Atom 包含兩 Sample 總數和一張包含了每個 Sample Size 的表。

Sample Size 表的 entry 布局如下圖：

下圖示例中，該視頻流一共有 110 個 Sample，第 1 個 Sample 大小為 42072 字節，第 2 個 Sample 大小為 7354 個字節。

stco

Chunk Offset Box，指定了每個 Chunk 在文件中的位置，這個表是確定每個 Sample 在文件中位置的關鍵。該表包含了 Chunk 個數和一個包含每個 Chunk 在文件中偏移位置的表。每個表項的內存布局如下：

需要注意，這里 stco 只是指定的每個 Chunk 在文件中的偏移位置，並沒有給出每個 Sample 在文件中的偏移。想要獲得每個 Sample 的偏移位置，需要結合 Sample Size box 和 Sample-To-Chunk 計算后取得。

下圖示例中，該視頻流第 1 個 Chunk 在文件中的偏移為 4750，第 1 個 Chunk 在文件中的偏移為 47007。

如何計算 Sample 偏移位置

上文提到通過 stco 並不能直接獲取某個 Sample 的偏移位置，下面舉例說明如何獲取某一個 pts 對應的 Sample 在文件中的位置。大體需要以下步驟：

1. 將 pts 轉換到媒體對應的時間坐標系。
2. 根據 stts 計算某個 pts 對應的 Sample 序號。
3. 根據 stsc 計算 Sample 序號存放在哪個 Chunk 中。
4. 根據 stco 獲取對應 Chunk 在文件中的偏移位置。
5. 根據 stsz 獲取 Sample 在 Chunk 內的偏移位置並加上第 4 步獲取的偏移，計算出 Sample 在文件中的偏移。

例如，想要獲取 3.64 秒視頻 Sample 數據在文件中的位置：

1. 根據 time scale 參數，將 3.64 秒轉換為視頻時間軸對應的 3640000。
2. 遍歷累加下表所示 stts 所有項目，計算得到 3640000 位於第 110 個 Sample。

type    stts
size    224
flags   0
version 0
sample_counts   1,10,1,1,11,1,1,2,1,25,1,1,1,17,1,10,1,1,1,7,1,1,1,1,10,1
sample_deltas   33362,33363,33362,33364,33363,33362,33364,33363,33362,33363,33362,33364,33362,33363,33362,33363,33362,33364,33362,33363,33362,33364,33363,33362,33363,0

3. 查詢下表所示 stsc 所有項目，計算得到第 110 個 Sample 位於第 109 個 Chunk，並且在該 Chunk 中位於第 2 個 Sample。

type    stsc
size    40
flags   0
version 0
first_chunk 1,109
samples_per_chunk   1,2
sample_description_index    1,1

4. 查詢下表所示 stco 所有項目，得到第 109 個 Chunk 在文件中偏移位置為 1710064。

Property name   Property value
type    stco
size    452
flags   0
version 0
chunk_offsets   4750,47007,54865,61967,75519,88424,105222,117892,133730,149529,165568,182034,194595,210776,225470,240756,255358,270711,285459,300135,315217,330899,347372,363196,376409,394509,407767,424615,438037,455603,469784,487287,505197,519638,536714,553893,567187,584744,599907,615298,630669,645918,662605,678655,693510,708980,724061,738946,754170,771520,787233,800847,816997,832490,847814,862559,877929,898379,911054,925810,943883,956497,974403,991527,1009478,1025198,1041806,1062609,1078401,1091360,1105142,1118748,1132815,1145281,1156966,1171871,1186742,1202760,1218235,1236688,1249330,1263163,1280880,1297903,1313162,1332885,1345726,1359017,1376283,1391401,1405512,1419550,1433644,1452103,1475241,1492689,1511291,1522606,1535368,1559413,1575331,1588853,1609829,1626623,1642798,1658640,1674160,1693972,1710064

5. 查詢下表所示 stsz 所有項目，得到第 109 個 Sample 的 size 為 14808。計算得到 3.64 秒視頻 Sample 數據在文件中：

offset：1710064 + 14808 = 1724872
size：17930

type    stsz
size    460
flags   0
version 0
sample_sizes    42072,7354,6858,13110,12684,16416,12490,15497,15630,15865,16116,12387,15775,14519,14929,14433,15181,14390,14496,14717,15507,16101,15643,12843,17911,13070,16455,13221,17186,14002,17139,17737,14251,16708,16999,12911,17356,14801,15213,15016,15062,16505,15689,14657,15053,14907,14527,15048,17161,15308,13432,15777,15307,14971,14568,14987,20264,12494,14382,17873,12235,17718,16770,17766,15366,16420,20623,15403,12761,13394,13390,13714,12295,11505,14541,14689,15635,15291,18091,12458,13645,17346,16847,14902,19530,12446,13105,16872,14937,13944,13657,13908,18092,22959,17080,18421,11129,12400,23844,15564,13340,20603,16609,15984,15474,15339,19451,15719,14808,17930
sample_size 0
sample_count    110

• 驗證：用編輯器打開 MP4 文件，定位到文件偏移 offset = 1724872 的位置，前 4 字節值為 0x00004606。在 avcc 中一個 Sample 的前 4 個字節代表這個包的大小，轉換為十進制是 17926，該值正好等於 size = 17930 減去表示長度的四個字節。
  

參考資料

在線 MP4 解析工具
QuickTime File Format Specification

「視頻雲技術」你最值得關注的音視頻技術公眾號，每周推送來自阿里雲一線的實踐技術文章，在這里與音視頻領域一流工程師交流切磋。