ffmpeg编程(三)把视频的声音播放出来

这篇主要讲把视频的声音播放出来

　　audioStream = -1;
for (i = 0; i < pFormatCtx->nb_streams; i++) {
if (pFormatCtx->streams[i]->codec->codec_type == CODEC_TYPE_AUDIO
&& audioStream < 0) {
audioStream = i;
}
}
if (audioStream == -1)
return -1;

上面这段代码主要是找到第一个音频流。

aCodecCtx=pFormatCtx->streams[audioStream]->codec;

记录一个音频解码器的上下文信息。

wanted_spec.freq = aCodecCtx->sample_rate;
wanted_spec.format = AUDIO_S16SYS;
wanted_spec.channels = aCodecCtx->channels;
wanted_spec.silence = 0;
wanted_spec.samples = SDL_AUDIO_BUFFER_SIZE;
wanted_spec.callback = audio_callback;
wanted_spec.userdata = aCodecCtx;

wanted_spec是一个SDL_AudioSpec结构体。

SDL_AudioSpec是包含音频输出格式的结构体，同时它也包含当音频设备需要更多数据时调用的回调函数。

int	freq	采样率
SDL_AudioFormat	format	音频数据格式;format 告诉SDL我们将要给的格式。在“S16SYS”中的S表示有符号的signed，16表示每个样本是16位长的，SYS表示大小头的顺序是与使用的系统相同的。这些格式是由avcodec_decode_audio2为我们给出来的输入音频的格式。
Uint8	channels	声音的通道数 1 单声道, 2 立体声;
Uint8	silence	表示静音的值。因为声音采样是有符号的，所以0当然就是这个值。
Uint16	samples	audio buffer size in samples (power of 2); 详情参考“讨论”
Uint32	size	音频缓存区大小（字节数）,当我们想要更多声音的时候，我们想让SDL给出来的声音缓冲区的尺寸。一个比较合适的值在512到8192之间；ffplay使用1024。
SDL_AudioCallback	callback	当音频设备需要更多数据时调用的回调函数;
void*	userdata	这个是SDL供给回调函数运行的参数。我们将让回调函数得到整个编解码的上下文信息;

if (SDL_OpenAudio(&wanted_spec, &spec) < 0) {
fprintf(stderr, "SDL_OpenAudio: %s/n", SDL_GetError());
return -1;
}

如果你的程序能够处理不同的音频格式，把一个SDL_AudioSpec的指针作为SDL_OpenAudio() 的第二个参数可以取得硬件真正的音频格式。如果第二个参数是NULL，音频数据将在运行时被转换成硬件格式。

aCodec = avcodec_find_decoder(aCodecCtx->codec_id);
if (!aCodec) {
fprintf(stderr, "Unsupported codec!/n");
return -1;
}

avcodec_find_decoder(aCodecCtx->codec_id);函数负责找到解码器。

avcodec_open(aCodecCtx, aCodec);

打开音频解码器。

下面要把音频从文件中循环的读出来

typedef struct PacketQueue {
AVPacketList *first_pkt, *last_pkt;
int nb_packets;
int size;
SDL_mutex *mutex;
SDL_cond *cond;
} PacketQueue;

再wanted_spec.callback =audio_callback;我已经解释过了这是一个回调函数,这个回调函数负责不断的播放声音,那么这个函数从那里取出声音呢?这时候我需要申请一块内存用来存放声音,回调函数不断的读取数据从我申请的内存中,这块内存就是队列PacketQueue 。

PacketQueue通过小链表AVPacketList把音频帧AVPacket组成一个顺序队列。

nb_packets为AVPacket的数量

size为AVPacket.size的总大小

void packet_queue_init(PacketQueue *q) {
memset(q, 0, sizeof(PacketQueue));
q->mutex = SDL_CreateMutex();
q->cond = SDL_CreateCond();
}

初始化队列。

函数memset(q, 0, sizeof(PacketQueue));负责将q中前sizeof(PacketQueue)个字节替换为0并返回q；

SDL_CreateMutex函数用来创建一个互斥体的，返回类型是SDL_mutex。

SDL_CreateCond创建一个条件变量。

int packet_queue_put(PacketQueue *q, AVPacket *pkt) {
AVPacketList *pkt1;
if (av_dup_packet(pkt) < 0) {
return -1;
}
pkt1 = av_malloc(sizeof(AVPacketList));
if (!pkt1)
return -1;
pkt1->pkt = *pkt;
pkt1->next = NULL;
SDL_LockMutex(q->mutex);
if (!q->last_pkt)
q->first_pkt = pkt1;
else
q->last_pkt->next = pkt1;
q->last_pkt = pkt1;
q->nb_packets++;
q->size += pkt1->pkt.size;
SDL_CondSignal(q->cond);
SDL_UnlockMutex(q->mutex);
return 0;
}

函数SDL_LockMutex()锁定队列的互斥量以便于我们向队列中添加数据，然后函数SDL_CondSignal ()重新启动线程等待一个条件变量（如果它在等待）发出一个信号来告诉它现在已经有数据了，接着就会解锁互斥量并让队列可以自由访问。

int decode_interrupt_cb(void) {

return quit;

}

...

main() {

...

url_set_interrupt_cb(decode_interrupt_cb);

...

SDL_PollEvent(&event);

switch(event.type) {

case SDL_QUIT:

quit = 1;

...

url_set_interrupt_cb函数是进行回调并检查我们是否需要退出一些被阻塞的函数。

在SDL中的,还必需要设置quit标志为1。

PacketQueue audioq;

main() {

...

avcodec_open(aCodecCtx, aCodec);

packet_queue_init(&audioq);

SDL_PauseAudio(0);

初始化PacketQueue队列。

函数SDL_PauseAudio()让音频设备最终开始工作。如果没有立即供给足够的数据，它会播放静音。

while(av_read_frame(pFormatCtx, &packet)>=0) {

// Is this a packet from the video stream?

if(packet.stream_index==videoStream) {

// Decode video frame

....

}

} else if(packet.stream_index==audioStream) {

packet_queue_put(&audioq, &packet);

} else {

av_free_packet(&packet);

}

循环读取音频流包的信息。

void audio_callback(void *userdata, Uint8 *stream, int len) {
　　//获得编解码器的上下文信息
AVCodecContext *aCodecCtx = (AVCodecContext *) userdata;
int len1, audio_size;
static uint8_t audio_buf[(AVCODEC_MAX_AUDIO_FRAME_SIZE * 3) / 2];
static unsigned int audio_buf_size = 0;
static unsigned int audio_buf_index = 0;
while (len > 0) {
if (audio_buf_index >= audio_buf_size) {
　　　　　　　//自定义的音频解码器方法
audio_size = audio_decode_frame(aCodecCtx, audio_buf,
sizeof(audio_buf));
if (audio_size < 0) {
audio_buf_size = 1024;
memset(audio_buf, 0, audio_buf_size);
} else {
audio_buf_size = audio_size;
}
audio_buf_index = 0;
}
len1 = audio_buf_size - audio_buf_index;
if (len1 > len)
len1 = len;
memcpy(stream, (uint8_t *) audio_buf + audio_buf_index, len1);
len -= len1;
stream += len1;
audio_buf_index += len1;
}
}

int audio_decode_frame(AVCodecContext *aCodecCtx, uint8_t *audio_buf,int buf_size) {
static AVPacket pkt;
static uint8_t *audio_pkt_data = NULL;
static int audio_pkt_size = 0;
int len1, data_size;
for (;;) {
while (audio_pkt_size > 0) {
data_size = buf_size;
len1 = avcodec_decode_audio2(aCodecCtx, (int16_t *) audio_buf,
&data_size,
audio_pkt_data, audio_pkt_size);
if (len1 < 0) {
audio_pkt_size = 0;
break;
}
audio_pkt_data += len1;
audio_pkt_size -= len1;
if (data_size <= 0) {
continue;
}
return data_size;
}
if (pkt.data)
av_free_packet(&pkt);
if (quit) {
return -1;
}
if (packet_queue_get(&audioq, &pkt, 1) < 0) {
return -1;
}
audio_pkt_data = pkt.data;
audio_pkt_size = pkt.size;
}
}

int quit = 0;
static int packet_queue_get(PacketQueue *q, AVPacket *pkt, int block) {
AVPacketList *pkt1;
int ret;
SDL_LockMutex(q->mutex);
for(;;) {
if(quit) {
ret = -1;
break;
}
pkt1 = q->first_pkt;
if (pkt1) {
q->first_pkt = pkt1->next;
if (!q->first_pkt)
　q->last_pkt = NULL;
q->nb_packets--;
q->size -= pkt1->pkt.size;
*pkt = pkt1->pkt;
av_free(pkt1);
ret = 1;
break;
} else if (!block) {
ret = 0;
break;
} else {
SDL_CondWait(q->cond, q->mutex);
}
}
SDL_UnlockMutex(q->mutex);
return ret;
}

这段代码大概就是 先执行main函数,开启分线程audio_callback()不断读取音频流,然后用audio_decode_frame()解码,解码的数据从packet_queue_get()中取出来,

继续回到main函数packet_queue_put()负责把音频帧放到队列中去,以便于packet_queue_get()从队列中获取。

c文件下载

http://download.csdn.net/detail/wenwei19861106/4221053