【无中生有】---17---基于大数据平台的计算开发模式
2017-08-15 12:06
197 查看
背景
大数据平台常见的是使用hadoop集群为基础进行搭建,当然大厂商比如阿里、腾讯也会进行自建,但是中小企业更多使用的还是hadoop平台居多,当然还有目前已经相对稳定的spark。这种大规模计算集群虽然计算能力强大,但是并发存在很大的问题。因为其担负的计算任务一般对计算能力的要求也会很大,在有多个任务并发时会产生资源争抢。尤其是Impala系统,在多个任务并发并且所需要内存总量超过系统总量时还会造成任务的全部失败。所以基于大数据平台的系统开发模型和常规的高并发模型有着差异。方案
方案1:串行队列
将所有任务全部排队,按照请求顺序以及优先级进入集群进行计算。优势:
能良好解决任务失败的问题。劣势:
没有并发,处理能力大幅度下降,可计算任务数和平均计算时间有关,比较浪费资源。方案2:任务分类计算
对任务的计算资源占用量进行估算,挑选任务继续并发计算,大型任务则是用专属集群采用串行队列计算。时刻监控并发集群的资源用量,可以留空额,不能用尽。优势:
提高并发量,保证任务不会因为资源用尽失败。劣势:
集群的投入会增大,有一部分资源的浪费。集群运维
计算节点虚拟化,便于升级与计算能力调整节点职责单一化,便于节点替换与切换
服务端口路由屏蔽,不让客户端直连服务器,提高集群的高可用
相关文章推荐
- 基于.net平台windows开发中的模式窗体
- 谈基于.net平台windows开发中的模式窗体
- [转]谈基于.net平台windows开发中的模式窗体
- 基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET - 统一数据访问
- 谈基于.Net平台开发中的模式窗体
- Rich Ajax 平台,第 1 部分: 简介-基于 Eclipse 开发模式的 Web 2.0
- 基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET平台开发指南 - 数据层开发
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台二(C#开发)
- 谈基于.net平台windows开发中的模式窗体
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台二(C#开发)-登录功能模块
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台二(C#开发)-登录功能模块
- 谈基于.net平台开发中的模式窗体
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台一(C#开发)-系统功能介绍及展示
- 基于DotNet构件技术的企业级敏捷软件开发平台 - AgileEAS.NET - 数据关系映射ORM
- 谈基于.net平台windows开发中的模式窗体
- 谈基于.net平台windows开发中的模式窗体-.NET教程,.NET Framework
- 基于ArcGIS10.0和Oracle10g的空间数据管理平台一(C#开发)
- 基于开源BI平台Openi的数据仓库系统的设计开发
- 谈基于.net平台windows开发中的模式窗体谈基于.net平台windows开发中的模式窗体
- 谈基于.net平台windows开发中的模式窗体