1、NAL全称Network Abstract Layer, 即网络抽象层。
在H.264/AVC视频编码标准中,整个系统框架被分为了两个层面:视频编码层面(VCL)和网络抽象层面(NAL)。其中,前者负责有效表示视频数据的内容,而后者则负责格式化数据并提供头信息,以保证数据适合各种信道和存储介质上的传输。因此我们平时的每帧数据就是一个NAL单元(SPS与PPS除外)。在实际的H264数据帧中,往往帧前面带有00 00 00 01 或 00 00 01分隔符,一般来说编码器编出的首帧数据为PPS与SPS,接着为I帧……
如下图:
2、如何判断帧类型(是图像参考帧还是I、P帧等)?
NALU类型是我们判断帧类型的利器,从官方文档中得出如下图:
我们还是接着看最上面图的码流对应的数据来层层分析,以00 00 00 01分割之后的下一个字节就是NALU类型,将其转为二进制数据后,解读顺序为从左往右算,如下:
(1)第1位禁止位,值为1表示语法出错
(2)第2~3位为参考级别
(3)第4~8为是nal单元类型
H264 NALU: 00 00 00 01(4字节) | NALU type(1字节) | NALU_data (N字节) | 0x00 00 00 01 |
---|---|---|---|
起始码(4字节) | 类型 | 数据 | 下一个NALU |
NALU_type 1字节,定义为:
1比特禁止位 | 2比特 重要性指示位 | 5比特 类型 |
---|---|---|
固定为0 | 11 |
一般在00000001后有67,68以及65
其中0x67的二进制码为:
0110 0111
4-8为00111,转为十进制7,参考第二幅图:7对应序列参数集SPS
其中0x68的二进制码为:
0110 1000
4-8为01000,转为十进制8,参考第二幅图:8对应图像参数集PPS
其中0x65的二进制码为:
0110 0101
4-8为00101,转为十进制5,参考第二幅图:5对应IDR图像中的片(I帧)
常用Nalu_type: 0x67 (0 11 00111) SPS 非常重要 type = 7 0x68 (0 11 01000) PPS 非常重要 type = 8 0x65 (0 11 00101) IDR帧 关键帧 非常重要 type = 5 0x61 (0 11 00001) I帧 重要 type=1 非IDR的I帧 不大常见 0x41 (0 10 00001) P帧 重要 type = 1 0x01 (0 00 00001) B帧 不重要 type = 1 0x06 (0 00 00110) SEI 不重要 type = 6
所以判断是否为I帧的算法为: (NALU类型 & 0001 1111) = 5 即 NALU类型 & 31 = 5
比如0x65 & 31 = 5
最简单的办法是找0x65或0x25(I frame启始位),或者去找0x67或0x27(SPS)和0x68或0x28(PPS)后面的完整包。SPS和PPS后面必然跟着I frame。(68之后,出现 000001 开始就是关键帧数据 )
参考地址:
https://www.cnblogs.com/virusolf/p/5000107.html
https://www.cnblogs.com/EasyNVR/p/11971702.html
https://blog.csdn.net/huibailingyu/article/details/42879573