老李分享:大数据框架Hadoop和Spark的异同 2
2016-01-14 16:57
183 查看
Spark数据处理速度秒杀MapReduce
Spark因为其处理数据的方式不一样,会比MapReduce快上很多。MapReduce是分步对数据进行处理的: ”从集群中读取数据,进行一次处理,将结果写到集群,从集群中读取更新后的数据,进行下一次的处理,将结果写到集群,等等…“ Booz Allen Hamilton的数据科学家Kirk Borne如此解析。反观Spark,它会在内存中以接近“实时”的时间完成所有的数据分析:“从集群中读取数据,完成所有必须的分析处理,将结果写回集群,完成,” Born说道。Spark的批处理速度比MapReduce快近10倍,内存中的数据分析速度则快近100倍。
如果需要处理的数据和结果需求大部分情况下是静态的,且你也有耐心等待批处理的完成的话,MapReduce的处理方式也是完全可以接受的。
但如果你需要对流数据进行分析,比如那些来自于工厂的传感器收集回来的数据,又或者说你的应用是需要多重数据处理的,那么你也许更应该使用Spark进行处理。
大部分机器学习算法都是需要多重数据处理的。此外,通常会用到Spark的应用场景有以下方面:实时的市场活动,在线产品推荐,网络安全分析,机器日记监控等。
灾难恢复
两者的灾难恢复方式迥异,但是都很不错。因为Hadoop将每次处理后的数据都写入到磁盘上,所以其天生就能很有弹性的对系统错误进行处理。Spark的数据对象存储在分布于数据集群中的叫做弹性分布式数据集(RDD: Resilient Distributed Dataset)中。“这些数据对象既可以放在内存,也可以放在磁盘,所以RDD同样也可以提供完成的灾难恢复功能,”Borne指出。
相关文章推荐
- 老李分享:大数据框架Hadoop和Spark的异同 1
- haartraing 准备(将图像统一修改尺寸)
- 两个例子(来自Storm实战 构建大数据实时计算)
- VS2010 error: LINK : fatal error LNK1123: failure during conversion to COFF: file invalid or corrupt
- (Mac)Rails项目使用七牛上传及下载文件
- Studio team goals and pain points
- AIDL的使用
- AjaxControlToolKit--TabContainer控件的介绍收藏[摘录]
- Shallow Size、Retained Size、Heap Size和Allocated
- RAID5阵列硬盘离线怎么恢复
- Win10打开PhotoShop蓝屏显示内核错误kernel security check failure
- getaddrinfo(localhost.localdomain): 未知的名称或服务
- 流畅上GOOGLE+,使用gmail的方法
- AIX 配置vncserver
- Hbase建表,查询(带分页)
- jmail组件 对象不支持此属性或方法: 'JMail.ServerAddress' 的解决办法
- UVa 514 - Rails【栈+格式】
- 2016年大数据发展趋势预测
- 大数据IMF传奇行动 scala IDE 内存不够问题解决
- 通过使用API来操作HDFS