您的位置:首页 > 数据库

Spark SQL 官方文档-中文翻译

2016-07-06 18:12 483 查看
转载自:http://www.cnblogs.com/BYRans/

注:Spark版本:Spark 1.5.2

1 概述(Overview)

2 DataFrames

2.1 入口:SQLContext(Starting Point: SQLContext)

2.2 创建DataFrames(Creating DataFrames)

2.3 DataFrame操作(DataFrame Operations)

2.4 运行SQL查询程序(Running SQL Queries Programmatically)

2.5 DataFrames与RDDs的相互转换(Interoperating with RDDs)

2.5.1 使用反射获取Schema(Inferring the Schema Using Reflection)

3 数据源(Data Source)

3.1 一般Load/Save方法

3.1.1 手动指定选项(Manually Specifying Options)

3.1.2 存储模式(Save Modes)

3.1.3 持久化到表(Saving to Persistent Tables)

3.2 Parquet文件

3.2.1 读取Parquet文件(Loading Data Programmatically)

3.2.2 解析分区信息(Partition Discovery)

3.2.3 Schema合并(Schema Merging)

3.2.4 Hive metastore Parquet表转换(Hive metastore Parquet table conversion)

3.2.4.1 Hive/Parquet Schema反射(Hive/Parquet Schema Reconciliation)

3.2.4.2 元数据刷新(Metadata Refreshing)

3.2.5 配置(Configuration)

3.3 JSON数据集

3.4 Hive表

3.4.1 访问不同版本的Hive Metastore(Interacting with Different Versions of Hive Metastore)

3.5 JDBC To Other Databases

4 性能调优

4.1 缓存数据至内存(Caching Data In Memory)

4.2 调优参数(Other Configuration Options)

5 分布式SQL引擎

5.1 运行Thrift JDBC/ODBC服务

6 Migration Guide

6.1 与Hive的兼容(Compatibility with Apache Hive

6.1.1 在Hive warehouse中部署Spark SQL

6.1.2 Spark SQL支持的Hive特性

6.1.3 不支持的Hive功能

7 Reference

7.1 Data Types

7.2 NaN 语义

详情参考:http://www.cnblogs.com/BYRans/p/5057110.html#34
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: