SparkSQL的前世今生

SparkSQL的前世今生

标签（空格分隔）： spark学习

HiveSQL

早期都是使用hiveSQL,hiveSQL的执行流程：

1. 语法解析

2. 生成逻辑计划

3. 优化

4. 生成物理计划

通过以上流程将hiveSQL语句转换成mapReduce运行在hadoop上的。

技术革新中…

SparkShark

套用hiveSQL的执行流程，只不过将SQL语句装换成RDD运行。shark（同SparkSQL）

1. 语法解析

2. 生成逻辑计划

3. 优化

4. 生成物理计划（Spark）

对于Spark产生的缺点：

* Hive升级了，shark这儿也要被迫的升级

* 自己升级的时候，也要考虑到Hive的版本。

技术革新中…

SparkSQl

大概在2014年7月份时，Spark放弃Shark，开发新的SparkSQL，而shark成为Hive的内容。

SparkSQl实现的效果和shark相类似，只不过不在依赖Hive。

版本的更新和发展

Spark 0.xx

一直在使用shark

Spark 1.0.2

废弃了Shark 出来了一个SparkSQL(在测试阶段)作为apache的顶级项目

Spark 1.3.0

SparkSQL变成正式版本了。（DataFrame）

Spark 1.5.0

提出了钨丝计划（重点优化SparkSQL）

Spark 1.6.0

提出来一个DataSet (只是在测试阶段)

Spark2.0.0

**DataSet 变为了正式的 功能（还有很多对于SparkSQL的优化）

Structured Streaming （测试阶段）**

Spark2.2.0

Structured Streaming (正式版本)