Ignite(三): Ignite VS Spark

RDBMS：SparkRDD 可以将 RDBMS 作为数据来源之一，支持 RDBMS 数据的批量读写，也支持各种类型的 RDBMS，但是 Spark 对 RDBMS 的读写，属于批量模式，Spark 更多地会将 RDBMS 作为分析型业务的数据来源之一，最后如有必要，则将业务分析的结果批量回写 RDBMS；
• NoSQL：Spark 原生支持 JDBC、JSON、Parquet、csv、libsvm 以及 orcFile 等，也可以通过扩展接口自定义数据源。Spark 可以直接或者通过各种连接器读取 Hive、Hbase、Cassandra 中的数据，然后创建对应的 RDD，写入也是同理，这个能力是 Ignite 所不具备的；
• 原生持久化：Spark 不具备原生的持久化能力。

SQL

• Ignite 和 Spark 都支持 SQL，但是两者的定位和能力，有所不同。
• Ignite：Ignite SQL 目前的语法兼容于 ANSI-99，支持查询、删除、更新与插入，但语法和功能与标准并不完全一致。Ignite 如果做好了数据并置，SQL 查询的性能是很好的，同时 Ignite 还支持索引，这都进一步提升了 Ignite SQL 的能力。另外，Ignite SQL 对缓存的功能进行了极大的增强，通常用于缓存的在线查询和计算，用于离线数据处理也是可以的。
• Spark：SparkSQL 最初来源于 Shark 项目，后来两者进行了合并，SparkSQL 构建于 Dataset/DataFrame 机制基础上，目前只支持查询，主要适用于分析型业务以及对来自不同数据源的结构化数据进行处理。它也可以进行交互式查询，因为不支持索引等等原因，所以性能较差，响应时间可能较长。

数据一致性（事务）

• Ignite：Ignite 整体来说对事务的支持还不完善，具体来说，在键-值 API 层面，有完善的事务机制，主要原理来自于经过优化的二阶段提交协议，但是 SQL 层面的 DML 语句还不支持事务，未来版本会解决该问题。
• 在计算层面，因为支持丰富的编程接口，也可以非常容易地与各种开源的 ORM 框架集成，所以也可以方便地对事务进行细粒度的控制，比如 CRUD 都是没问题的。
• Spark：SparkSQL 本身并不提供事务机制。Spark 本身也不适用于 RDBMS 的细粒度数据维护，RDBMS 对于 Spark 来说，只是数据的一个来源和存储地之一，通常都是批量操作，如果批量操作失败，Spark 有容错机制可以重来，以保证整体的一致性。

流计算

• Spark 有 Spark Streaming，Ignite 也支持流数据处理。
• Ignite：Ignite 可以与主流的流处理技术和框架进行集成，比如 Kafka、Camel、Storm 与 JMS，提供可扩展和容错的能力。流处理技术为 Ignite 提供了一种数据加载机制，针对流式数据，Ignite 也提供了各种处理和查询功能。Ignite 社区官方提供了 10 种流处理技术的集成实现，利用统一的 API，开发者也可以自行开发流处理技术实现。Ignite 为所有流入 Ignite 的数据以可扩展和容错的方式提供至少一次保证。
• Spark：Spark Streaming 是基于 Spark 的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，即以时间为单位切分数据流，每个切片内的数据对应一个 RDD，进而可以采用 Spark 引擎进行快速计算。其同样支持众多的数据源，内部的数据表示形式为 DStream。Spark Streaming 吞吐量高，可以做复杂的业务逻辑，但是秒级别的延迟是否符合业务需求需要确认。Spark Streaming 可以与 Spark 其他技术完美集成，包括 SparkML、SparkSQL 等。

机器学习

• Ignite 和 Spark 都支持机器学习。
• Ignite：Ignite 从 2.5 版本开始，提供了完整的机器学习解决方案，Ignite 的机器学习有两个优点：一个是如果已经在 Ignite 中持有了大量的数据，那么继续在 Ignite 中进行机器学习的训练和推理，就不需要在不同系统间进行 ETL 的等待，提高效率。另一个是 Ignite 提供了一系列的机器学习和深度学习算法，对 Ignite 的分布式并置处理进行优化，这样在处理大规模的数据集或者不断增长的输入数据流时，提供了内存级的速度和近乎无限的扩展性，而不需要将数据移到另外的存储。目前支持的算法包括回归、分类、聚类以及对数据进行预处理等。另外 Ignite 还支持了一组遗传算法，该算法适合于以最优的方式检索大量复杂的数据集。
• Spark：Spark 很早就包含了机器学习库，RDD 模型面向的一个主要场景就是机器学习这样的多轮迭代式计算。目前的 Spark 机器学习库有 2 个实现，正在逐步向 SparkML 过渡，SparkML 基于 DataFrame API，更强大更灵活，而传统的 MLlib 会处于维护状态。SparkML 基于 DataFrames 对 API 进行了统一，使用体验更友好。可以使用 SparkSQL 等更高级的功能，支持流水线，特别是特征变换。Spark 的机器学习因为 RDD 的原因性能更好，支持的算法也更多。

图计算

• Ignite：暂不支持
• Spark：Spark 中包含了 GraphX，这是一个图计算组件。它在 RDD 基础上引入了新的 Graph 抽象，为了支持图形计算，GraphX 公开了一组基本运算符（例如子图、连接顶点和聚合消息）以及 Pregel API 的优化变型。此外，GraphX 还包括了越来越多的图形算法和构造者，以简化图形分析任务。

开发语言和客户端协议

• Ignite：Ignite 是以 Java 语言为主进行开发的，因此可以在 JVM 支持的任何操作系统和架构上部署和运行。Java 的 API 支持 Ignite 的所有功能，使用 Java 或者 Scala 开发的应用，相关的逻辑可以直接嵌入 Ignite，然后借助于 SQL 以及键-值操作与集群进行交互，执行分布式计算和机器学习算法等等。除了 Java，Ignite 还支持 .NET 平台与 C++，Ignite.NET 和 Ignite C++ 使用 JNI，会把大部分的调用转发给 Java。
• Ignite 还支持使用标准的 JDBC 或者 ODBC 连接，可以像其它 SQL 存储一样与 Ignite 进行交互。Ignite 还为 Java、.NET 和 C++ 开发者提供原生的 SQL API，性能更好。
• Ignite 还支持其它的语言访问，比如 Python、Ruby、PHP 与 NodeJS，另外还可以考虑使用 Ignite 的二进制客户端协议接入集群。
• Spark：Spark 使用 Scala 语言开发，目前支持使用 Scala、Java、Python、R 语言开发 Spark 程序。

监控运维工具支持

• Ignite：Ignite 开源版没有提供图形化的监控工具，但是提供了简易的命令行工具，同时为了简化开发，Ignite 提供了图形化的 Web 控制台。
• Ignite 运行时可以通过 API 接口获取大量的指标，通过编程的方式了解集群的状况。
• 如果需要强大的监控运维工具，可以购买 GridGain 的商业版软件和服务。如果搭建的是一个小规模的集群，鉴于 Ignite 的无共享架构，部署运维都是比较简单的。
• Spark：Spark 启动后会有一个 Web 控制台，虽然不是很美观，但是可以从总体上看到 Spark 的当前运行状态。
• Spark 属于 Master/Slave 模式，如果直接拿开源版本搭建大规模集群，部署运维还是非常麻烦的，但是国内有很多厂商开发包含 Spark 组件的大数据平台，为部署和运维提供了很大的便利。

总结

• 综上所述，Ignite 和 Spark 功能都很全面，已经脱离了简单开源技术组件的范围，都成为了自成体系的开源大数据平台。上面主要对 Ignite 和 Spark 的主要功能做了简单的梳理对比，不一定全面，也没有对其各自特有的功能进行梳理。但经过这么一些分析，还是可以得出这样一个结论：两者差别很大，定位不同，因此会有不同的适用领域。
• Ignite：Ignite 以缓存为中心构建大数据体系，底层存储模型更偏向传统关系型数据架构，上层为应用开发的便利做了大量的工作，包括为各种常见语言和协议提供支持。中间核心层在缓存的基础上不断向外扩展，功能日趋丰富强大。
• Ignite 从定位上来说有两个突出点，一是可以独立组网，构建独立的大数据平台，然后企业在其上开发全新的大数据应用，包括缓存、计算、流数据处理、机器学习应用等等。二是还可以与传统应用紧密整合，在不颠覆已有架构的前提下，帮助用户进行传统应用的分布式架构转型。为运行多年的复杂、运行缓慢、技术架构落后的业务系统，提供加速能力的同时，引入众多的先进功能，大幅提升原有系统的能力从而延长已有架构的寿命，产生更大的价值，保护客户原有投资。
• Ignite 的定位和架构，与 Hadoop 体系大数据组件有很大的不同，但是并不冲突，即使企业已经部署了基于 Hadoop 技术体系的大数据平台，那么也可以继续引入 Ignite 作为补充。
• Spark：Spark 以计算为中心构建大数据体系，底层存储对各种数据源进行了抽象，总体上更偏向非结构化的数据，上层应用支持多种语言，核心层基于 RDD 模型，然后进行了大量的扩展，支持了更多更高级的功能，比如 SparkSQL、Spark Streaming、SparkML 与 Spark GraphX 等。Spark 的核心优势是进行多轮迭代式计算、交互式计算以及图计算等。
• Spark 是围绕 RDD 构建生态，用户可以以 Spark 为中心搭建大数据平台，满足大量数据的获取、清洗、处理、加载、计算、存储等需求，核心定位是解决大数据的分析问题。虽然 Spark 的计算能力也可以处理传统的关系型数据，但这并非 Spark 的强项，因此和传统业务系统并没有太多的交集。企业基于 Spark 搭建大数据平台之后，其上的应用基本需要全新开发。传统的数据处理业务，即使适合用 Spark 实现，原有的业务逻辑也无法直接、简单地移植进入 Spark 技术堆栈。Spark 技术堆栈更适合用于处理传统技术处理起来很麻烦、性能很差、数据量又很大的非结构化数据，Spark 适合对众多系统的相关数据进行整合，通过分析后能产生更大价值的业务场景。