流媒体服务器搭建总结

流媒体服务器搭建总结

框架：

Live555获取网络相机流ffmpeg对获取网络相机码流转码视频码流的高效显示

一、 live555、ffmpeg及D3D的简介

Live555是一个标准流媒体传输的跨平台C++开源项目。

Ffmpeg是一个音视频解码的开源项目。

DerictX9是微软的游戏引擎库。

二、 搭建开发环境

a) Live555的源码编译及环境配置

b) Ffmpeg的SDK获取

c) D3D9的SDK获取

三、 框架搭建

a) Live555获取相机码流的方法

a.1 支持rtsp相机的流URL地址

海康相机含账户密码的url地址格式：

Rtsp://用户名：密码@码流地址

主码流：rtsp://admin:12345@192.168.96.10/MPEG-4/ch2/main/av_stream

子码流：rtsp://admin:12345@192.168.96.10/MPEG-4/ch2/main/av_stream

a.2 live555获取rtsp流

Live555 提供了一个简单的客户端工程，testRTSPClient。Live55获取流的过程：打开URL进入工作调度循环，当连接失败时会调用shutdownStream断开流，并执行清理工作。只有当eventLoopWatchVariable为非零时才会停止工作调度循环。需要注意的是live555支持子会话，只有当所有子会话都停止时，才会将eventLoopWatchVariable设置为非零值，退出工作调度循环。参考testRTSPClient的shutdownStream函数。

// All subsequent activity takes place within the event loop:

env->taskScheduler().doEventLoop(&eventLoopWatchVariable);

// This function call does not return, unless, at some point in time, “eventLoopWatchVariable” gets set to something non-zero.

Live555工程有一个mediaServer工程，我们可以用它来测试我们的rtsp客户端程序,此外也有一些公开的rtsp测试地址可用，比如

rtsp://218.204.223.237:554/live/1/67A7572844E51A64/f68g2mj7wjua3la7.sdp。还有一个比较好用的播放工具 VLC ，通过配置可以播放h.264的网络视频流。

b) Ffmpeg对获取到H.264码流的解码方法

Ffmpeg的工作方式类似于插件的工作方式，解码流程：

Ffmpeg初始化化Ffmpeg解码Ffmpeg退出清理资源

b.1、Ffmpeg初始化内容

AVCodec*videoCodec = NULL;
//注册FFmpeg所有编解码器
av_register_all();
avcodec_register_all();
//查找编码器
if (!(videoCodec = avcodec_find_decoder(AV_CODEC_ID_H264))) {
printf("codec not found!");
return;
}
avCodecContext= avcodec_alloc_context3(videoCodec);
avCodecContext->codec_type = AVMEDIA_TYPE_VIDEO;
//打开编码器
if (avcodec_open2(rtsp_sdl.avCodecContext, videoCodec, NULL) < 0)
{
printf("open decode failed!");
return;
}

b.2、解码函数

void video_decode_h264_to_yuv420(AVCodecContext*c,
void  *inFrame, int inSize,
void *outFrame, int & outSize,
int&frameWight,int&frameHeight)
{
if (inSize == 0)
return;

AVFrame *picture = NULL;
AVPacket packet;

av_init_packet(&packet);
packet.data = (uint8_t*)inFrame;
packet.size = inSize;
packet.stream_index = AV_CODEC_ID_H264;

int got_picture;
got_picture = 0;
//申请解码空间
picture = av_frame_alloc();
if (!picture)
{
return;
}
while (inSize > 0)
{
len = avcodec_decode_video2(c, picture, &got_picture, &packet);
//解码失败，失败后一定要有清理资源，否则会内存泄漏
if (len < 0)
break;
if (got_picture)
{
//解码成功
……
}
……
//清理解码资源
}
av_free_packet(&packet);
av_frame_free(&picture);
}

b.3、释放解码环境

void ffmpegDestroy()
{
avcodec_close(avCodecContext);
if(avCodecContext!=NULL)
avcodec_free_context(&avCodecContext);
avCodecContext=NULL;
}

c) D3D9 YV12图像渲染方法

c.1 初始化D3D设备,渲染视频

bool InitD3D( HWND hwnd,int frameWidth,int frameHeight)
{
HRESULT lRet;
InitializeCriticalSection(&m_critial);
Cleanup();
m_pDirect3D9 = Direct3DCreate9( D3D_SDK_VERSION );
if( m_pDirect3D9 == NULL )
return false;
ZeroMemory( &d3dpp, sizeof(d3dpp) );
d3dpp.Windowed = TRUE;
d3dpp.SwapEffect = D3DSWAPEFFECT_DISCARD;
d3dpp.BackBufferFormat = D3DFMT_UNKNOWN;

GetClientRect(hwnd,&m_rtViewport);

lRet=m_pDirect3D9->CreateDevice( D3DADAPTER_DEFAULT, D3DDEVTYPE_HAL,hwnd,
D3DCREATE_SOFTWARE_VERTEXPROCESSING,
&d3dpp, &m_pDirect3DDevice );
if(FAILED(lRet))
return false;
pixel_w=frameWidth;
pixel_h=frameHeight;
lRet=m_pDirect3DDevice->CreateOffscreenPlainSurface(
frameWidth,
frameHeight,
(D3DFORMAT)MAKEFOURCC('Y', 'V', '1', '2'),
D3DPOOL_DEFAULT,
&m_pDirect3DSurfaceRender,
NULL);
if(FAILED(lRet))
return false;
return true
}
```
c.2 渲染yv12
```
bool Render(void*yv12)
{
HRESULT lRet;
if(m_pDirect3DSurfaceRender == NULL)
return false;
D3DLOCKED_RECT d3d_rect;
lRet=m_pDirect3DSurfaceRender->LockRect(&d3d_rect,NULL,D3DLOCK_DONOTWAIT);
if(FAILED(lRet))
return false;
byte *pSrc =(unsigned char*) yv12;
byte * pDest = (BYTE *)d3d_rect.pBits;

int stride = d3d_rect.Pitch;
unsigned long i = 0;

……将yv12视频图像数据复制到pDest中

lRet=m_pDirect3DSurfaceRender->UnlockRect();
if(FAILED(lRet))
return false;
if (m_pDirect3DDevice == NULL)
return false;
m_pDirect3DDevice->BeginScene();
m_pDirect3DDevice->GetBackBuffer(0,0,D3DBACKBUFFER_TYPE_MONO,&pBackBuffer);
m_pDirect3DDevice->StretchRect(m_pDirect3DSurfaceRender,NULL,pBackBuffer,
&m_rtViewport,D3DTEXF_POINT);
pBackBuffer->Release();
pBackBuffer=NULL;
DrawPolysAndTexts(m_pDirect3DDevice);
m_pDirect3DDevice->EndScene();
lRet=m_pDirect3DDevice->Present( NULL, NULL, NULL, NULL );
……
return true;
}

c.3、清理D3d资源

void Cleanup()
{
EnterCriticalSection(&m_critial);
if(m_pDirect3DSurfaceRender)
m_pDirect3DSurfaceRender->Release();
m_pDirect3DSurfaceRender=NULL;
if(m_pDirect3DDevice)
m_pDirect3DDevice->Release();
m_pDirect3DDevice=NULL;
if(m_pDirect3D9)
m_pDirect3D9->Release();
m_pDirect3D9=NULL;
LeaveCriticalSection(&m_critial);
}

c.4设备丢失问题及解决办法

c.4.1设备丢失

Direct3D设备要么处于可操作状态，要么处于丢失状态，可操作状态即正常状态，设备按预期运行并渲染。当某些事件发生时，设备将转入丢失状态，比如在全屏状态下失去键盘焦点，这将导致无法继续渲染。设备丢失的一个特点是所有的渲染操作都会silent failure，这就意味着即使渲染操作失败了，渲染函数也能正确返回。在这种情况下，函数Present将返回D3DERR_DEVICELOST。

c.4.2解决办法

if(lRet==D3DERR_DEVICELOST)
{
//通过TestCooperativeLevel()可以检测设备是否丢失
if(m_pDirect3DDevice->TestCooperativeLevel()==D3DERR_DEVICENOTRESET)
{
m_pDirect3DSurfaceRender->Release();
m_pDirect3DSurfaceRender=NULL;
//一般设备丢失为D3DERR_DEVICENOTRESET，我们是可以通过Reset()重新恢复的，注意它
//是先释放资源，后重新建立D3d的
//如果Reset失败了，我们只能自己清理D3d资源，重新建立D3d设备了。
if (FAILED(m_pDirect3DDevice->Reset(&d3dpp)))
{
return false;
}else
{
return true;
}
}

d) 将三个技术组合搭建组合流媒体服务器，主要是数据的异步处理，三个技术的衔接

三个关键技术实现后，我们便可以根据工作所需组合起来实现需求。

Live555获取到流后加入缓冲队列，FFmpeg从缓冲队列中取出数据解码之后便可用D3d渲染播放，很明显，在对这个缓冲队列操作时，要使用使用锁机制操作。这其中有两个关键点。其一，视频缓冲队列要有限制，不能过大，超出一个最大值之后，就要对缓冲清理。其二D3d9的渲染速率跟live555网络流的获取速率不一致，渲染速率大于获取速率，就会造成视频卡顿。最简单的一个办法就是，按照获取速率控制渲染，即以一帧为单位渲染，缓冲中小于一帧是，就不再渲染，并让出cpu视频，Sleep一段时间。这两点总结为我们要对缓冲队列里的缓冲帧数设置一个合理的范围。

四、 优缺点

a) 性能：

i. 使用GPU解码渲染视屏，大大降低CPU的使用率。

ii. 普通pc能够播放视频的路数。Intel Xeon E3-1220 3.1GHz cpu,NVIDIA NVS300 gpu播放视频时每路大于占5%左右的cpu。

b) 易用性：使用的三个组件资料比较丰富，只要通过简单的组合即可开发出网络相机播放程序。

c) 稳定性:使用的三个组件，经过了长时间的检验，相当稳定，只要我们合理组合使用，便可开发出较为稳定的视频程序。

五、 待改进的地方

a) 对流的有效控制。

b) 所依赖的三个SDK功能强大，但只用到了部分功能，因此对live555、ffmpeg源码的裁剪精小，使其更适合此流媒体服务器。

c) D3D9仅能在Windows平台使用，需要使用跨平台视频渲染引擎，如OpenGl,或者使用并行计算的方式，如OpenCl。均是跨平台，又是使用GPU解码渲染，大大减轻CPU的负担。

d) Ffmpeg是在cpu上解码的，如果能够通过并行计算（如OpenCl）的方式交由GPU解码，将能进一步减少CPU的压力，提升系统的流畅度。

e) 如果仅仅是播放网络相机的rtsp流，我们可以使用VLC的SDK实现程序的快速开发。

六、参考资料

[1] live555源码获取及编译

[2]ffmpeg开发库获取

[3]ffmpeg解码h264

[4]yuv播放几种方案（sdl、d3d、opengGl）

[5]使用VLC快速开发视频流播放程序

[6]多路RTSP播放器直播与点播技术实现