Spark SQL thrift server 部署

说明

1.需要先部署好hive和spark on yarn.

2.Spark1.6对应Hive1.2.1，Spark1.4对应Hive0.13.

配置

将Hive的配置文件hive-site.xml和HDFS的配置文件core-site.xml,hdfs-site.xml复制到spark的配置文件夹conf.

运行spark sql.

执行

./bin/spark-sql

可以交互式查询Hive数据.

运行spark thrift server

类似于HiveServer2,推荐用这种方式.

执行

./sbin/start-thriftserver.sh

将启动一个服务,通过10000端口提供远程访问.

也可以自定义参数如下:

./sbin/start-thriftserver.sh \
--hiveconf hive.server2.thrift.port=<listening-port> \
--hiveconf hive.server2.thrift.bind.host=<listening-host>
--num-executors <num>

PS:如果该机器已经启动了HiveServer2占用了10000端口,则会启动失败,需要更换端口.

默认num-executors为2,代表executor的数量.

连接spark thrift server

连接方式很多,这里说下使用spark自带命令行工具beeline.

启动客户端

./bin/beeline

连接thrift server

> ! connect jdbc:hive2://master:10000

若没有使用安全验证,用户名使用Linux的用户名,密码留空即可.

若有使用安全验证，请参考beeline的文档。

参考文献:

Spark SQL, DataFrames and Datasets Guide

http://spark.apache.org/docs/latest/sql-programming-guide.html