spark简介（一）

1. spark简介

Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有HadoopMapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

2. spark框架介绍

Spark支持的Api：scala、python、java

3. spark的特点

Apache Spark™ is a fast and general engine for large-scaledata processing.

2.1数据处理引擎

快速：DAG。Memory

通用：一栈式的大数据处理解决方案

2.2数据处理与数据分析

适用于大数据集

4.MapReudce与Spark对比的同点

1.基本原理上:

MapReduce：基于磁盘的大数据批量处理系统

spark：基于 RDD（ 弹性分布式数据集） 数据处理，显式的将

RDD 数据存储到磁盘和内存中。

2.模型上：

MapReduce：可以处理超大规模的数据，适合日志分析挖掘等

较少的迭代的长任务需求； 结合了数据的分布式的计算。

Spark:适合数据的挖掘，机器学习等多伦迭代式计算任务

3.容错性上

数据容错性

节点容错性