一个基于JRTPLIB的轻量级RTSP客户端(myRTSPClient)——实现篇：（七）RTP音视频传输解析层之H264传输格式

一、H264传输封包格式的2个概念

（1）组包模式（Packetization Modes）

RFC3984中定义了3种组包模式：单NALU模式（Single Nal Unit Mode）、非交错模式（Non-interleaved Mode）和交错模式（Interleaved Mode）。

“单NALU模式”：NALU封包在传输过程中必须是整包传输，不可以分包（指应用层的分包，并非指传输层）。而且NALU必须是严格按照解码顺序传输，也就是说，假设1s中连续的24帧分别标记为：frame1，frame2...，frame24，则传输必须严格按frame1，frame2...，frame24这个顺序传输。

“非交错模式”：NALU必须是严格按照解码顺序传输，也就是说，假设1s中连续的24帧分别标记为：frame1，frame2...，frame24，则传输必须严格按frame1，frame2...，frame24这个顺序传输。该模式可以分包（指应用层的分包，并非指传输层）。

“交错模式”：NALU可以不按照解码顺序传输，也就是说，假设1s中连续的24帧分别标记为：frame1，frame2...，frame24，则传输顺序可以是frame15，frame7，frame9...。该模式可以分包（指应用层的分包，并非指传输层）。

（2）封包类型（Packet Type）

RFC3984中定义了7种封包类型：Nal Unit， STAP-A， STAP-B， MTAP16， MTAP24， FU-A， FU-B。

这些类型分别对应着不同的传输属性（如支持应用层的“大包分小包”、“小包组大包”）。其中比较常见的是FU-A（Fragmentation Units A）这种类型。

“组包模式”和“封包类型”一起规定了H264的传输格式，但它们之间也非随意组合的，具体如下图：



二、SDP中的组包模式

H264传输的组包模式在SDP中被指定，下图是截取的一段SDP内容



其中“packetization-mode=1”即规定了H264的组包模式。3种组包模式分别对应编号0,1,2（见RFC3984），1表示“非交错模式”。

三、本地NALU和传输中NALU

（1）本地NALU

现在我们本地有一个NALU，大小为3000字节，如下图。



其中NALU Header分别由，1bit禁止位，2bit权限位，和5bit类型位。



其中type的有效值为1-12，分别代表了NALU的不同类型，数值0禁用，13-31保留（type由5bit表示，范围为0-31）。

（2）传输中的NALU

假设“组包模式”=“非交错模式”，“封包类型”=“FU-A”，并且将上述所述的包拆分成了3个进行传输，我们来举例说明传输中的NALU和本地的NALU的区别。



以上就是按顺序传输到客户端的3个封包。与本地NALU不同的是，NALU Header的type不再是1-12，而是28（28表示FU-A传输格式，见RFC3984），真正的NALU的type被包含在FU-A Header中。

FU-A Header的格式如下



S（Start）：起始包指示位，即当传输的是第1个NALU分包时，该位置1。上图中Pack 1该位会被置位；

E（End）：结束宝指示位，即当传输的是最后1个NALU分包时，该位置1。上图中Pack 3该位会被置位；

R（Reserved）：保留位，忽略之。

Type：NALU类型，即原来在NALU Header中的Type。

当客户端收到这3个分包时，便可以将其还原成本地NALU的格式了。

上一篇 回目录 下一篇