您的位置:首页 > 运维架构 > 网站架构

如何架构大规模云端直播录制集群?

2016-07-23 09:14 267 查看
1

大规模直播录制已成为“必须”

直播平台的异军突起,确实为做什么都不太赚钱的经济寒冬打了一剂强效鸡血,时代造就了直播,也让“网红”成为了“产品”,正走向更大的舞台。

但我们看到当下“网红”制造的内容中,大部分都是未经审查、筛选、过滤的低质量内容。利用情色、暧昧、偏激、煽动性、哗众取宠等低质内容吸引关注,获取流量,再通过包装、炒作试图流量变现。

针越来越多负面直播内容爆发,4月29日,全国“扫黄打非”办通报了一批包括几乎所有主流平台在内的网络直播平台涉黄事件,并出台了《北京网络直播行业自律公约》。“公约”重点和难点剑指直播内容审查,明确规定“对所有直播内容进行存储,存储时间不少于15天,以备核查。”

虽然“公约”一方面增加了直播运营平台的内容存储成本,另一方面对视频云、CDN提供商的大规模直播录制技术提出了全新的要求。但目前内容审查没有更好办法,让技术手段成为补救措施实属无奈之举。本文基于观止云大规模直播录制集群建设经验,来探讨直播录制的技术方案。

2

录制集群基本功能

完善的云端直播录制集群应该支持以下基本功能:

支持主流的协议输入:RTMP、HTTP-FLV、HLS等

支持录制输出:MP4、FLV、TS、HLS等主流格式

支持即时、定时的录制任务类型

提供对录制任务进行异步管控的接口

提供录制任务完成后的异步回调通知

以下是观止云直播收录集群的基本结构:

3

“容错”的解决

当下的互动直播,由于主播推流端网络、推流终端差异大且不受控制,直播流在信号源采集、传输失败时产生的断网、断流等情况频发,这就要求录制集群有相应的“容错”机制及反馈相关的错误信息。

录制节点将即时录制的流数据写入文件中,断网或断流时,即时关闭文件

网络或直播流恢复,恢复后立即启动收录并将流数据写入新文件中

录制结束后,将各段的收录文件进行合并

4

“容灾”的解决

对于云服务来说,服务的不间断是一项基本能力,云端录制集群在架构设计时需要充分考虑到“容灾”。“容灾”需要在两个层面去考虑:


1任务录制节点“容灾”

当某录制节点停止服务或者宕机,需要保证已被分配到该节点的录制任务继续服务,观止云提出了两种实现方案:

 

方案A: 调度系统将处于该节点的录制任务快速切换到其他正常服务的录制节点上继续执行,原执行节点已收录的数据直接丢弃。这种方案消耗的资源少,但是会存在丢失大量数据的风险,可以将录制的分段文件的大小或时长调小,以此减少数据的丢失。

方案B:同时让多个节点执行同一个收录任务进行冗余,保证至少有一个节点能执行成功。该方案虽增加了系统压力,但能提升服务可用性。在任务结束后判断其执行情况,仅保存一份文件进存储。在节点容灾环节观止云采用此架构。


2任务调度系统“容灾”

当任务调度系统停止服务或者宕机时,需要保证各节点上的录制任务能继续执行且新的任务能正常进行分发:

 

方案A:
主-备方式热备。这种方案只激活其中一个调度系统,让其作为主调度正常工作,宕机时备调度自动切换成主调度,并继续进行服务。该方式一般会使用心跳机制来实现,会存在一定的主备切换延时。观止云目前采用此种架构。

方案B:
双主机方式热备。这是基于主-备方式扩展出来增强方案:两套主-备调度服务同时进行任务分发服务,在数据和存储上相互隔离,如果其中一套的主服务停了,这套的备服务走的流程和方案A一样,除了同样存在切换延时问题外,还多出了一份调度数据的存储。但该方案好处在于多套调度可以对任务分发的管控进行分压。

5

“存储”的解决

存储环节较为成熟,将录制输出的文件快速转移到云存储,既无缝衔接点播CDN加速,也不用担心扩容、安全等问题了。

 
6

服务“无线扩展性”

既然是在云端实现大规模录制,就需要考虑到业务的增长,需要保障在超高并发时仍能稳定地提供录制服务,且随着业务的增长,还能动态扩展收录节点来提高任务并发能力,而不影响原有业务。

下图为观止云目前可无限扩展的录制集群结构图:

7

“跨区域”智能调度

主播的上行推流分布于全国各地,跨地区的分布式录制集群结构才足以高效的应对需求。收录集群需要根据主播推流的来源将录制任务调度至更合适的节点机房去执行,下图为观止云录制集群跨区域调度示意图:

 

以上就是观止云在建设大规模云端录制集群时各环节的技术方案结构,其它如“流式录制”、“云端合成”、“云端编辑”等功能正在规划之中。

结语

事实上,直播录制不仅是在践行“公约”的要求,也正提升着各大直播平台的用户体验。越来越多直播平台已经陆续开始提供直播回看功能,而大型线下活动、在线课堂等的录制转点播更是必须。录制,已是大直播时代的标配功能!

观止云致力于打造最专业的运营级视频云平台,现正在寻求研发(服务器/大数据/编码器)、市场、售前、销售等方面的才俊加盟,如感兴趣,请发送简历至hr@bravovcloud.com。

观止云公众号历史文章中有大规模P2P商用数据、全球主流流媒体服务器功能性能对比、编码器等大量技术文章介绍,有网络直播市场、技术方案等介绍,请在【往期内容】栏目中查看。想要了解更多观止云业务介绍,请点击【阅读原文】。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: