ONVIF协议网络摄像机（IPC）客户端程序开发（12）：读取音视频流

1 专栏导读

本专栏第一篇文章「专栏开篇」列出了专栏的完整目录，按目录顺序阅读，有助于你的理解，专栏前面文章讲过的知识点（或代码段），后面文章不会赘述。为了节省篇幅，突出重点，在文章中展示的示例代码仅仅是关键代码，你可以在「专栏开篇」中获取完整代码。

如有错误，欢迎你的留言纠正！让我们共同成长！你的「点赞」或「打赏」是对我最大的支持和鼓励！

2 原理简介

ONVIF规范中设备管理和控制部分所定义的接口均以Web Services的形式提供，而音视频流则通过RTP/RTSP进行。

简单粗暴的理解：IPC的各种参数获取/配置都是通过ONVIF协议接口实现，而音视频流多媒体传输采用的是RTP/RTSP协议实现。

要读取IPC的音视频流，概况起来是，先通过ONVIF接口获取IPC主/辅码流的RTSP地址，再利用FFmpeg接口（或其他开源方案）读取音视频流数据。

3 编码流程

通过「设备发现」，得到 「设备服务地址」。

使用「设备服务地址」调用GetCapabilities接口，得到「媒体服务地址」。

使用「媒体服务地址」调用GetProfiles接口，得到主次码流的「媒体配置信息」，其中包含ProfileToken。

使用ProfileToken 调用GetStreamUri接口，得到主次码流的流媒体RTSP地址。

使用RTSP地址，调用FFmpeg接口，读取音视频流数据。

4 VLC播放RTSP视频

RTSP是很成熟的多媒体传输协议，用于传输音视频流数据。我们不需要自己码代码来实现RTSP协议，有很多现成的开源方案可供我们使用，比如强大的FFmpeg。

为了让大家对RTSP有个更好的认识，下面演示：使用VLC media player播放RTSP视频流。

打开VLC media player播放器（我的版本是VLC media player 2.1.3）。

选择菜单【媒体】>【打开网络串流】，输入RTSP地址，点击【播放】，即可实时播放视频流媒体，如下图所示。





如果提示认证失败，那么URL就要加上用户名、密码，格式如：rtsp://username:password@100.100.100.5:554/av0_0

5 准备FFmpeg库

官网：http://ffmpeg.org/

Windows平台下的FFmpeg，官网上有编译好的动态库可直接使用。

下载Dev版本，里面包含了ffmpeg的xxx.h头文件以及xxx.lib库文件。

下载Shared版本，里面包含了ffmpeg的dll文件。

将这两部分文件拷贝到VC工程下面就可以了

如：

ffmpeg-20160926-64545dd-win32-dev.zip

ffmpeg-20160926-64545dd-win32-shared.zip

Linux平台下的FFmpeg就要自己编译了（我下载的源码版本是：ffmpeg-3.0.2.tar.bz2），详细的编译过程不再本文讨论范围内，大致的命令是：

# ./configure --enable-shared --disable-yasm --disable-debug --prefix=/home/ffmpeg-linux-pc
# make
# make all

6 示例代码

#include <stdio.h>
#include <stdlib.h>
#include <assert.h>
#include "onvif_comm.h"
#include "onvif_dump.h"

#include "libavcodec/avcodec.h"
#include "libavdevice/avdevice.h"
#include "libavformat/avformat.h"
#include "libavfilter/avfilter.h"
#include "libavutil/avutil.h"
#include "libswscale/swscale.h"
#include "libavutil/pixdesc.h"

/************************************************************************
**函数：open_rtsp
**功能：从RTSP获取音视频流数据
**参数：
[in]  rtsp - RTSP地址
**返回：无
************************************************************************/
void open_rtsp(char *rtsp)
{
unsigned int    i;
int             ret;
int             video_st_index = -1;
int             audio_st_index = -1;
AVFormatContext *ifmt_ctx = NULL;
AVPacket        pkt;
AVStream        *st = NULL;
char            errbuf[64];

av_register_all();                                                          // Register all codecs and formats so that they can be used.
avformat_network_init();                                                    // Initialization of network components

if ((ret = avformat_open_input(&ifmt_ctx, rtsp, 0, NULL)) < 0) {            // Open the input file for reading.
printf("Could not open input file '%s' (error '%s')\n", rtsp, av_make_error_string(errbuf, sizeof(errbuf), ret));
goto EXIT;
}

if ((ret = avformat_find_stream_info(ifmt_ctx, NULL)) < 0) {                // Get information on the input file (number of streams etc.).
printf("Could not open find stream info (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret));
goto EXIT;
}

for (i = 0; i < ifmt_ctx->nb_streams; i++) {                                // dump information
av_dump_format(ifmt_ctx, i, rtsp, 0);
}

for (i = 0; i < ifmt_ctx->nb_streams; i++) {                                // find video stream index
st = ifmt_ctx->streams[i];
switch(st->codec->codec_type) {
case AVMEDIA_TYPE_AUDIO: audio_st_index = i; break;
case AVMEDIA_TYPE_VIDEO: video_st_index = i; break;
default: break;
}
}
if (-1 == video_st_index) {
printf("No H.264 video stream in the input file\n");
goto EXIT;
}

av_init_packet(&pkt);                                                       // initialize packet.
pkt.data = NULL;
pkt.size = 0;

while (1)
{
do {
ret = av_read_frame(ifmt_ctx, &pkt);                                // read frames
} while (ret == AVERROR(EAGAIN));

if (ret < 0) {
printf("Could not read frame (error '%s')\n", av_make_error_string(errbuf, sizeof(errbuf), ret));
break;
}

if (pkt.stream_index == video_st_index) {                               // video frame
printf("Video Packet size = %d\n", pkt.size);
} else if(pkt.stream_index == audio_st_index) {                         // audio frame
printf("Audio Packet size = %d\n", pkt.size);
} else {
printf("Unknow Packet size = %d\n", pkt.size);
}

av_packet_unref(&pkt);
}

EXIT:

if (NULL != ifmt_ctx) {
avformat_close_input(&ifmt_ctx);
ifmt_ctx = NULL;
}
return ;
}

/************************************************************************
**函数：ONVIF_GetStreamUri
**功能：获取设备码流地址(RTSP)
**参数：
[in]  MediaXAddr    - 媒体服务地址
[in]  ProfileToken  - the media profile token
[out] uri           - 返回的地址
[in]  sizeuri       - 地址缓存大小
**返回：
0表明成功，非0表明失败
**备注：
************************************************************************/
int ONVIF_GetStreamUri(const char *MediaXAddr, char *ProfileToken, char *uri, unsigned int sizeuri)
{
int result = 0;
struct soap *soap = NULL;
struct tt__StreamSetup              ttStreamSetup;
struct tt__Transport                ttTransport;
struct _trt__GetStreamUri           req;
struct _trt__GetStreamUriResponse   rep;

SOAP_ASSERT(NULL != MediaXAddr);
SOAP_ASSERT(NULL != uri);
memset(uri, 0x00, sizeuri);

SOAP_ASSERT(NULL != (soap = ONVIF_soap_new(SOAP_SOCK_TIMEOUT)));

memset(&req, 0x00, sizeof(req));
memset(&rep, 0x00, sizeof(rep));
memset(&ttStreamSetup, 0x00, sizeof(ttStreamSetup));
memset(&ttTransport, 0x00, sizeof(ttTransport));
ttStreamSetup.Stream                = tt__StreamType__RTP_Unicast;
ttStreamSetup.Transport             = &ttTransport;
ttStreamSetup.Transport->Protocol   = tt__TransportProtocol__RTSP;
ttStreamSetup.Transport->Tunnel     = NULL;
req.StreamSetup                     = &ttStreamSetup;
req.ProfileToken                    = ProfileToken;

ONVIF_SetAuthInfo(soap, USERNAME, PASSWORD);
result = soap_call___trt__GetStreamUri(soap, MediaXAddr, NULL, &req, &rep);
SOAP_CHECK_ERROR(result, soap, "GetServices");

dump_trt__GetStreamUriResponse(&rep);

result = -1;
if (NULL != rep.MediaUri) {
if (NULL != rep.MediaUri->Uri) {
if (sizeuri > strlen(rep.MediaUri->Uri)) {
strcpy(uri, rep.MediaUri->Uri);
result = 0;
} else {
SOAP_DBGERR("Not enough cache!\n");
}
}
}

EXIT:

if (NULL != soap) {
ONVIF_soap_delete(soap);
}

return result;
}

void cb_discovery(char *DeviceXAddr)
{
int stmno = 0;                                                              // 码流序号，0为主码流，1为辅码流
int profile_cnt = 0;                                                        // 设备配置文件个数
struct tagProfile *profiles = NULL;                                         // 设备配置文件列表
struct tagCapabilities capa;                                                // 设备能力信息

char uri[ONVIF_ADDRESS_SIZE] = {0};                                         // 不带认证信息的URI地址
char uri_auth[ONVIF_ADDRESS_SIZE + 50] = {0};                               // 带有认证信息的URI地址

ONVIF_GetCapabilities(DeviceXAddr, &capa);                                  // 获取设备能力信息（获取媒体服务地址）

profile_cnt = ONVIF_GetProfiles(capa.MediaXAddr, &profiles);                // 获取媒体配置信息（主/辅码流配置信息）

if (profile_cnt > stmno) {
ONVIF_GetStreamUri(capa.MediaXAddr, profiles[stmno].token, uri, sizeof(uri)); // 获取RTSP地址

make_uri_withauth(uri, USERNAME, PASSWORD, uri_auth, sizeof(uri_auth)); // 生成带认证信息的URI（有的IPC要求认证）

open_rtsp(uri_auth);                                                    // 读取主码流的音视频数据
}

if (NULL != profiles) {
free(profiles);
profiles = NULL;
}
}

int main(int argc, char **argv)
{
ONVIF_DetectDevice(cb_discovery);
return 0;
}

open_rtsp函数的执行结果类似：

Input #0, rtsp, from 'rtsp://100.100.100.5:554/av0_0':
Metadata:
title           : av0_0
Duration: N/A, start: 0.000000, bitrate: N/A
Stream #0:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc
Stream #0:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/s
Input #1, rtsp, from 'rtsp://100.100.100.5:554/av0_0':
Metadata:
title           : av0_0
Duration: N/A, start: 0.000000, bitrate: N/A
Stream #1:0: Video: h264 (Main), yuv420p, 1280x720, 25 tbr, 90k tbn, 180k tbc
Stream #1:1: Audio: pcm_mulaw, 8000 Hz, 1 channels, s16, 64 kb/s
Audio Packet size = 320
Video Packet size = 73926
Video Packet size = 6387
Video Packet size = 3768
Video Packet size = 5742
Audio Packet size = 320
Audio Packet size = 320
Audio Packet size = 320
Video Packet size = 5188
Audio Packet size = 320
Video Packet size = 5035
Video Packet size = 4833
Audio Packet size = 320
Video Packet size = 4791
Audio Packet size = 320