H.264分层结构：VCL、NAL

H.264的功能分两层

VCL (VideoCoding Layer，视频编码层)：负责高效的视频内容表示。

NAL(NetworkAbstraction Layer，网络提取层)：负责以网络所要求的恰当的方式对数据进行打包和传送。

H264编码过程中的三种不同数据形式

SODB(String ofData Bits)数据比特串：最原始的编码数据，即VCL数据，没有任何附加数据。

RBSP(Raw ByteSequence Payload)原始字节序列载荷：在SODB的后面填加了结尾比特（RBSP trailing bits），一个bit“1”，若干bit “0”，以便字节对齐；

EBSP(EncapsulationByte Sequence Packets)扩展字节序列载荷：在RBSP基础上填加了仿校验字节（0X03）。它的原因是：在NALU加到Annexb上时，需要添加每组NALU之前的开始码StartCodePrefix，如果该NALU对应的slice为一帧的开始则用4位字节表示，ox00000001，否则用3位字节表示ox000001（是一帧的一部分）。解码器检测每个起始码，作为一个NAL的起始标识，当检测到下一个起始码时，当前NAL结束。对于NAL中数据出现0x000001或0x000000时，H.264引入了防止竞争机制，如果编码器遇到两个字节连续为0，就插入一个字节的0x03。解码时将0x03去掉，也称为脱壳操作。

NALU

VCL层是对核心算法引擎、块、宏块及片的语法级别的定义，最终输出压缩编码后的数据 SODB。VCL数据在传输或存储之前，先被映射或封装进NAL单元中。NAL层将SODB打包成RBSP然后加上NAL头，组成一个NALU（NAL单元）。NAL层定义片级以上的语法级别（如序列参数集和图像参数集，针对网络传输），同时支持以下功能：独立片解码，起始码唯一保证，SEI以及流格式编码数据传送。

每个NAL单元是一个一定字语法元素的可变长字节字符串，包括一个字节的头信息（用来表示数据类型），以及若干个整数字节的原始字节序列负荷（RBSP）。一个NAL单元可以携带一个编码片，A/B/C型数据分割或一个序列或一个图像参数集。H.264采用NAL单元接入可适用多种网络，而且进一步提高其抗误码能力。序列号的设置可以发现丢失的是哪一个VCL单元，冗余编码图像使得基本编码图像丢失仍可得到较“粗糙”的图像。

NALU头结构

NALU头用来标识后面的RBSP是什么类型的数据，是否会被其他帧参考以及网络传输是否有错误。

长度：1byte

forbidden_bit(1bit)+ nal_reference_bit(2bit) + nal_unit_type(5bit)

forbidden_bit：禁止位，初始为0，当网络发现NAL单元有比特错误时可设置该比特为1，以便接收方纠错或丢掉该单元。

nal_reference_bit：nal重要性指示，标志该NAL单元的重要性，值越大，越重要，解码器在解码处理不过来的时候，可以丢掉重要性为0的NALU。

NALU类型

NALnal_unit_type

标识NAL单元中的RBSP数据类型，其中，nal_unit_type为1， 2， 3， 4， 5及12的NAL单元称为VCL的NAL单元，其他类型的NAL单元为非VCL的NAL单元。

nal_unit_type		NAL类型	nal_reference_bit
0		未使用	0
1	SLICE	非IDR图像中不采用数据划分的slice	此片属于参考帧，则不等于0，不属于参考帧，则等与0
2	SLICE_DPA	非IDR图像中A类数据划分的slice	同上
3	SLICE_DPB	非IDR图像中B类数据划分的slice	同上
4	SLICE_DPC	非IDR图像中C类数据划分的slice	同上
5	SLICE_IDR	IDR图像的slice	5
6	SEI	补充增强信息	0
7	SPS	序列参数集	非0
8	PPS	图像参数集	非0
9		分隔符	0
10		序列结束符	0
11		流结束符	0
12		填充数据	0
13-23		保留	0
24-31		未规定

序列参数集SPS

包括一个图像序列的所有信息，即两个IDR图像间的所有图像信息，如标识符 seq_parameter_set_id、帧数及 POC 的约束、参考帧数目、解码图像尺寸和帧场编码模式选择标识等等。

图像参数集PPS

PPS对应的是一个序列中某一幅图像或者某几幅图像，包括一个图像的所有slice的所有相关信息，如图像类型、序列号、标识符 pic_parameter_set_id、可选的 seq_parameter_set_id、熵编码模式选择标识、片组数目、初始量化参数和去方块滤波系数调整标识等等，解码时某些序列号的丢失可用来校验信息包的丢失与否。

数据分割

组成片的编码数据存放在 3 个独立的 DP（数据分割，A、B、C）中，各自包含一个编码片的子集。分割A包含片头和片中每个宏块头数据。分割B包含帧内和 SI 片宏块的编码残差数据。分割 C包含帧间宏块的编码残差数据。每个分割可放在独立的 NAL 单元并独立传输。

NALU的顺序要求

H.264/AVC标准对送到解码器的NAL单元顺序是有严格要求的，如果NAL单元的顺序是混乱的，必须将其重新依照规范组织后送入解码器，否则解码器不能够正确解码。

1.序列参数集NAL单元必须在传送所有以此参数集为参考的其他NAL单元之前传送，不过允许这些NAL单元中间出现重复的序列参数集NAL单元。 所谓重复的详细解释为：序列参数集NAL单元都有其专门的标识，如果两个序列参数集NAL单元的标识相同，就可以认为后一个只不过是前一个的拷贝，而非新的序列参数集。

2.图像参数集NAL单元必须在所有以此参数集为参考的其他NAL单元之先，不过允许这些NAL单元中间出现重复的图像参数集NAL单元，这一点与上述的序列参数集NAL单元是相同的。

3.不同基本编码图像中的片段（slice）单元和数据划分片段（data partition）单元在顺序上不可以相互交叉，即不允许属于某一基本编码图像的一系列片段（slice）单元和数据划分片段（data partition）单元中忽然出现另一个基本编码图像的片段（slice）单元片段和数据划分片段（data partition）单元。

4.参考图像的影响：如果一幅图像以另一幅图像为参考，则属于前者的所有片段（slice）单元和数据划分片段（data partition）单元必须在属于后者的片段和数据划分片段之后，无论是基本编码图像还是冗余编码图像都必须遵守这个规则

5.基本编码图像的所有片段（slice）单元和数据划分片段（data partition）单元必须在属于相应冗余编码图像的片段（slice）单元和数据划分片段（data partition）单元之前。

6.如果数据流中出现了连续的无参考基本编码图像，则图像序号小的在前面。

7.如果arbitrary_slice_order_allowed_flag置为1，一个基本编码图像中的片段（slice）单元和数据划分片段（data partition）单元的顺序是任意的，如果arbitrary_slice_order_allowed_flag置为零，则要按照片段中第一个宏块的位置来确定片段的顺序，若使用数据划分，则A类数据划分片段在B类数据划分片段之前，B类数据划分片段在C类数据划分片段之前，而且对应不同片段的数据划分片段不能相互交叉，也不能与没有数据划分的片段相互交叉。

8.如果存在SEI（补充增强信息） 单元的话，它必须在它所对应的基本编码图像的片段（slice）单元和数据划分片段（data partition）单元之前，并同时必须紧接在上一个基本编码图像的所有片段（slice）单元和数据划分片段（data partition）单元后边。假如SEI属于多个基本编码图像，其顺序仅以第一个基本编码图像为参照。

9.如果存在图像分割符的话，它必须在所有SEI 单元、基本编码图像的所有片段slice）单元和数据划分片段（data partition）单元之前，并且紧接着上一个基本编码图像那些NAL单元。

10.如果存在序列结束符，且序列结束符后还有图像，则该图像必须是IDR（即时解码器刷新）图像。序列结束符的位置应当在属于这个IDR图像的分割符、SEI 单元等数据之前，且紧接着前面那些图像的NAL单元。如果序列结束符后没有图像了，那么它的就在比特流中所有图像数据之后。

11.流结束符在比特流中的最后。



在 H.264 中，分层结构最大的不同是取消了序列层和图像层，并将原本属于序列和图像头部的大部分句法元素游离出来形成序列和图像两级参数集，其余的部分则放入片层。 参数集是一个独立的数据单位，不依赖于参数集外的其他句法元素。一个参数集不对应某一个特定的图像或序列，同一序列参数集可以被多个图像参数集引用，同理，同一个图像参数集也可以被多个图像引用。只在编码器认为需要更新参数集的内容时，才会发出新的参数集。