您的位置:首页 > 其它

AVPacket 和AVPacketList

2016-11-24 20:33 573 查看
转自http://blog.csdn.net/zwlq1314521/article/details/40427199

每一个包是一个完整的数据帧,来暂存解复用之后、解码之前的媒体数据(一个音/视频帧、一个字幕包等)及附加信息(解码时间戳、显示时间戳、时长等)

//注意保存音视频数据包的内存

是 malloc 出来的,用完后应及时用 free 归还给系统

[cpp]
view plain
copy
print?



typedef struct AVPacket { int64_t pts; int64_t dts; int64_t pos; uint8_t *data;//数据首地址 int size; int stream_index; int flags;//flags为标志域,1表示该数据是一个关键帧 void(*destruct)(struct AVPacket*);//释放数据缓冲区的函数指针 } AVPacket;



typedef struct AVPacket
{
int64_t pts;
int64_t dts;
int64_t pos;
uint8_t *data;//数据首地址
int size;
int stream_index;
int flags;//flags为标志域,1表示该数据是一个关键帧
void(*destruct)(struct AVPacket*);//释放数据缓冲区的函数指针
} AVPacket;
AVPacket本身只是个容器,它data成员引用实际的数据缓冲区。这个缓冲区通常是由av_new_packet创建的,但也可能由 FFMPEG的API创建(如av_read_frame)。当某个AVPacket结构的数据缓冲区不再被使用时,要需要通过调用 av_free_packet释放

而av_new_packet实现如下:(也有 av_init_packet)

[html]
view plain
copy
print?





void av_init_packet(AVPacket *pkt)
{
pkt->pts = AV_NOPTS_VALUE;
pkt->dts = AV_NOPTS_VALUE;
pkt->pos = -1;
pkt->duration = 0;
pkt->convergence_duration = 0;
pkt->flags = 0;
pkt->stream_index = 0;
#if FF_API_DESTRUCT_PACKET
pkt->destruct = NULL;
#endif
pkt->buf = NULL; // 数据域没有, 为空
pkt->side_data = NULL;
pkt->side_data_elems = 0;
}

int av_new_packet(AVPacket *pkt, int size)
{
AVBufferRef *buf = NULL;
//判断size是否正确
if ((unsigned)size >= (unsigned)size + FF_INPUT_BUFFER_PADDING_SIZE)
return AVERROR(EINVAL);
//分配size大小
av_buffer_realloc(&buf, size + FF_INPUT_BUFFER_PADDING_SIZE);
if (!buf)
return AVERROR(ENOMEM);

memset(buf->data + size, 0, FF_INPUT_BUFFER_PADDING_SIZE);

av_init_packet(pkt);
pkt->buf = buf;
pkt->data = buf->data; //data域大小
pkt->size = size;
#if FF_API_DESTRUCT_PACKET
pkt->destruct = dummy_destruct_packet;
#endif

return 0;
}



void av_init_packet(AVPacket *pkt)
{
pkt->pts                  = AV_NOPTS_VALUE;
pkt->dts                  = AV_NOPTS_VALUE;
pkt->pos                  = -1;
pkt->duration             = 0;
pkt->convergence_duration = 0;
pkt->flags                = 0;
pkt->stream_index         = 0;
#if FF_API_DESTRUCT_PACKET
pkt->destruct             = NULL;
#endif
pkt->buf                  = NULL; // 数据域没有, 为空
pkt->side_data            = NULL;
pkt->side_data_elems      = 0;
}

int av_new_packet(AVPacket *pkt, int size)
{
AVBufferRef *buf = NULL;
//判断size是否正确
if ((unsigned)size >= (unsigned)size + FF_INPUT_BUFFER_PADDING_SIZE)
return AVERROR(EINVAL);
//分配size大小
av_buffer_realloc(&buf, size + FF_INPUT_BUFFER_PADDING_SIZE);
if (!buf)
return AVERROR(ENOMEM);

memset(buf->data + size, 0, FF_INPUT_BUFFER_PADDING_SIZE);

av_init_packet(pkt);
pkt->buf      = buf;
pkt->data     = buf->data; //data域大小
pkt->size     = size;
#if FF_API_DESTRUCT_PACKET
pkt->destruct = dummy_destruct_packet;
#endif

return 0;
}
av_free_packet实现:

[html]
view plain
copy
print?





static inline void av_free_packet(AVPacket *pkt)
{
if (pkt && pkt->destruct)
pkt->destruct(pkt);
}



static inline void av_free_packet(AVPacket *pkt)
{
if (pkt && pkt->destruct)
pkt->destruct(pkt);
}


AVPacketList 仅含有一个 AVPacket,和传统的很多很多节点的 list

不同,不要被 list 名字迷惑。

[html]
view plain
copy
print?





typedef struct AVPacketList
{
AVPacket pkt;
struct AVPacketList *next; // 用于把各个 AVPacketList 串联起来。
} AVPacketList;

################################################
################################################
################################################
################################################

################################################
################################################

################################################
################################################
################################################

本文主要从以下几个方面对
AVPacket
做解析:

AVPacket在FFmpeg中的作用
字段说明
AVPacket中的内存管理
AVPacket相关函数的说明
结合AVPacket队列说明下AVPacket在传递过程中数据缓存的管理

查了一些资料,发现FFmpeg的版本更新还是挺快,而且有很多API也有改动,本文使用的FFmpeg的最新版本3.1。


AVPacket简介

AVPacket是FFmpeg中很重要的一个数据结构,它保存了解复用之后,解码之前的数据(仍然是压缩后的数据)和关于这些数据的一些附加信息,如显示时间戳(pts)、解码时间戳(dts)、数据时长,所在媒体流的索引等。

对于视频(Video)来说,AVPacket通常包含一个压缩的Frame,而音频(Audio)则有可能包含多个压缩的Frame。并且,一个Packet有可能是空的,不包含任何压缩数据,只含有side data(side data,容器提供的关于Packet的一些附加信息。例如,在编码结束的时候更新一些流的参数)。

AVPacket的大小是公共的ABI(public ABI)一部分,这样的结构体在FFmpeg很少,由此也可见AVPacket的重要性。它可以被分配在栈空间上(可以使用语句
AVPacket
packet;
在栈空间定义一个Packet ),并且除非libavcodec 和 libavformat有很大的改动,不然不会在AVPacket中添加新的字段。

官方文档:AVPacket is one of the few structs in FFmpeg,whose size is a part of public ABI.Thus it may be allocated on stack and no new fields can be added to it without libavcodec and libavformat major
bump.


AVPacket 字段说明

AVPacket的声明在
avcodec.h
中,其声明如下:
typedef struct AVPacket {
/**
* A reference to the reference-counted buffer where the packet data is
* stored.
* May be NULL, then the packet data is not reference-counted.
*/
AVBufferRef *buf;
/**
* Presentation timestamp in AVStream->time_base units; the time at which
* the decompressed packet will be presented to the user.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
* pts MUST be larger or equal to dts as presentation cannot happen before
* decompression, unless one wants to view hex dumps. Some formats misuse
* the terms dts and pts/cts to mean something different. Such timestamps
* must be converted to true pts/dts before they are stored in AVPacket.
*/
int64_t pts;
/**
* Decompression timestamp in AVStream->time_base units; the time at which
* the packet is decompressed.
* Can be AV_NOPTS_VALUE if it is not stored in the file.
*/
int64_t dts;
uint8_t *data;
int   size;
int   stream_index;
/**
* A combination of AV_PKT_FLAG values
*/
int   flags;
/**
* Additional packet data that can be provided by the container.
* Packet can contain several types of side information.
*/
AVPacketSideData *side_data;
int side_data_elems;
/**
* Duration of this packet in AVStream->time_base units, 0 if unknown.
* Equals next_pts - this_pts in presentation order.
*/
int64_t duration;
int64_t pos;                            ///< byte position in stream, -1 if unknown
#if FF_API_CONVERGENCE_DURATION
/**
* @deprecated Same as the duration field, but as int64_t. This was required
* for Matroska subtitles, whose duration values could overflow when the
* duration field was still an int.
*/
attribute_deprecated
int64_t convergence_duration;
#endif
} AVPacket;


AVPacket中的字段可用分为两部分:数据的缓存及管理,关于数据的属性说明。

关于数据的属性有以下字段:

pts 显示时间戳
dts 解码时间戳
stream_index Packet所在stream的index
flats 标志,其中最低为1表示该数据是一个关键帧
duration 数据的时长,以所属媒体流的时间基准为单位
pos 数据在媒体流中的位置,未知则值为-1
convergence_duration 该字段已被deprecated,不再使用

数据缓存,AVPacket本身只是个容器,不直接的包含数据,而是通过数据缓存的指针引用数据。AVPacket中包含有两种数据

data 指向保存压缩数据的指针,这就是AVPacket实际的数据。
side_data 容器提供的一些附加数据
buf 是AVBufferRef类型的指针,用来管理data指针引用的数据缓存的,其使用在后面介绍。


AVPacket中的内存管理

AVPacket实际上可用看作一个容器,它本身并不包含压缩的媒体数据,而是通过data指针引用数据的缓存空间。所以将一个Packet作为参数传递的时候,妖就要根据具体的需要,对data引用的这部分数据缓存空间进行特殊的处理。当从一个Packet去创建另一个Packet的时候,有两种情况:

两个Packet的data引用的是同一数据缓存空间,这时候要注意数据缓存空间的释放问题
两个Packet的data引用不同的数据缓存空间,每个Packet都有数据缓存空间的copy。

第二种情况,数据空间的管理比较简单,但是数据实际上有多个copy造成内存空间的浪费。所以要根据具体的需要,来选择到底是两个Packet共享一个数据缓存空间,还是每个Packet拥有自己独自的缓存空间。

对于多个Packet共享同一个缓存空间,FFmpeg使用的引用计数的机制(reference-count)。当有新的Packet引用共享的缓存空间时,就将引用计数+1;当释放了引用共享空间的Packet,就将引用计数-1;引用计数为0时,就释放掉引用的缓存空间。

AVPacket中的
AVBufferRef
*buf;
就是用来管理这个引用计数的,
AVBufferRef
的声明如下:
typedef struct AVBufferRef {
AVBuffer *buffer;
/**
* The data buffer. It is considered writable if and only if
* this is the only reference to the buffer, in which case
* av_buffer_is_writable() returns 1.
*/
uint8_t *data;
/**
* Size of data in bytes.
*/
int      size;
} AVBufferRef;


在AVPacket中使用
AVBufferRef
有两个函数:
av_packet_ref
av_packet_unref


av_packet_ref
int av_packet_ref(AVPacket *dst, const AVPacket *src)

创建一个
src->data
的新的引用计数。如果src已经设置了引用计数发(src->buffer不为空),则直接将其引用计数+1;如果src没有设置引用计数(src->buffer为空),则为dst创建一个新的引用计数buf,并复制
src->data
buf->buffer
中。最后,复制src的其他字段到dst中。

av_packet_unref
void av_packet_unref(AVPacket *pkt)

将缓存空间的引用计数-1,并将Packet中的其他字段设为初始值。如果引用计数为0,自动的释放缓存空间。

所以,有两个Packet共享同一个数据缓存空间的时候可用这么做
av_read_frame(pFormatCtx, &packet)  // 读取Packet
av_packet_ref(&dst,&packet) // dst packet共享同一个数据缓存空间
...
av_packet_unref(&dst);

下一小节简单的介绍下AVPacket相关的函数,并介绍如何在传递Packet的时候,复制一个独立的数据缓存空间的copy,每个Packet都拥有自己独立的数据缓存空间。


AVPacket 相关函数介绍

操作AVPacket的函数大约有30个,主要可以分为:AVPacket的创建初始化、AVPacket中的data数据管理(clone,free,copy等)、AVPacket中的side_data数据管理。

AVPacket的创建有很多种,而由于Packet中的数据是通过data引用的,从一个Packet来创建另一个Packet有多种方法。
av_read_frame
这个是比较常见的了,从媒体流中读取帧填充到填充到Packet的数据缓存空间。如果
Packet->buf
为空,则Packet的数据缓存空间会在下次调用
av_read_frame
的时候失效。这也就是为何在FFmpeg3:播放音频中,从流中读取到Packet的时,在将该Packet插入队列时,要调用
av_dup_avpacket
重新复制一份缓存数据。(
av_dup_avpacket
函数已废弃,后面会介绍)
av_packet_alloc
创建一个AVPacket,将其字段设为默认值(data为空,没有数据缓存空间)。
av_packet_free
释放使用
av_packet_alloc
创建的AVPacket,如果该Packet有引用计数(packet->buf不为空),则先调用
av_packet_unref(&packet)

av_packet_clone
其功能是
av_packet_alloc
+
av_packet_ref

av_init_packet
初始化packet的值为默认值,该函数不会影响data引用的数据缓存空间和size,需要单独处理。
av_new_packet
av_init_packet
的增强版,不但会初始化字段,还为data分配了存储空间。
av_copy_packet
复制一个新的packet,包括数据缓存。
av_packet_from_data
初始化一个引用计数的packet,并指定了其数据缓存。

av_grow_packet
av_shrink_packet
增大或者减小Packet->data指向的数据缓存。

就罗列这么多吧,剩下的没提到的基本都是和side_data相关的一些函数,和data的比较类似。

最后介绍下已经废弃的两个函数
av_dup_packet
av_free_packet


av_dup_packet
是复制src->data引用的数据缓存,赋值给dst。也就是创建两个独立packet,这个功能现在可用使用函数
av_packet_ref
来代替。

av_free_packet
释放packet,包括其data引用的数据缓存,现在可以使用
av_packet_unref
代替。


AVPacket队列

FFmpeg3:播放音频中,使用了AVPacket队列来缓存从流中读取的帧数据。这就涉及到多次的AVPacket的传递,从流中读取Packet插入队列;从队列中取出Packet进行解码;以及一些中间变量。由于Dranger教程中使用的已经废弃的API,在参照官方文档进行修改的时候就出现了内存读写的异常。下面就播放音频的教程中的AVPacket队列实现,分析下在AVPacket作为参数传递的过程中,应该如何更好的管理其data引用的缓存空间。

从流中读取AVPacket插入队列
AVPacket packet;
while (av_read_frame(pFormatCtx, &packet) >= 0)
{
if (packet.stream_index == audioStream)
packet_queue_put(&audioq, &packet);
else
//av_free_packet(&packet);
av_packet_unref(&packet);
}

如果是音频流则将读到Packet调用
packet_queue_put
插入到队列,如果不是音频流则调用
av_packet_unref
释放已读取到的AVPacket数据。

下面代码是
packet_queue_put
中将Packet放入到一个新建的队列节点的代码片段
AVPacketList *pktl;
//if (av_dup_packet(pkt) < 0)
//return -1;
pktl = (AVPacketList*)av_malloc(sizeof(AVPacketList));
if (!pktl)
return -1;
if (av_packet_ref(&pktl->pkt, pkt) < 0)
return -1;
//pktl->pkt = *pkt;
pktl->next = nullptr;

注意,在调用
packet_queue_put
时传递的是指针,也就是形参pkt和实参packet中的data引用的是同一个数据缓存。但是在循环调用
av_read_frame
的时候,会将packet中的data释放掉,以便于读取下一个帧数据。

所以就需要对data引用的数据缓存进行处理,保证在读取下一个帧数据的时候,其data引用的数据空间没有被释放。有两种方法,复制一份data引用的数据缓存或者给data引用的缓存空间加一个引用计数。

注释掉的部分是使用已废弃的API
av_dup_packet
,该函数将pkt中data引用的数据缓存复制一份给队列节点中的AVPacket。

添加引用计数的方法则是调用
av_apcket_ref
将data引用的数据缓存的引用计数+1,这样其就不会被释放掉。

从队列中取出AVPacket
//*pkt = pktl->pkt;
if (av_packet_ref(pkt, &pktl->pkt) < 0)
{
ret = 0;
break;
}

注释掉的代码仍然是两个packet引用了同一个缓存空间,这样在一个使用完成释放掉缓存的时候,会造成另一个访问错误。所以扔给调用
av_packet_ref
将其引用计数+1,这样在释放其中一个packet的时候其引用的数据缓存就不会被释放掉,知道两个packet都被释放。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: