sparksql读取hive数据源配置

1、将hive-site.xml内容添加到spark conf配置文件中，内容仅需要元数据连接信息即可

<?xml version="1.0" encoding="UTF-8"?>

 <configuration>

     <property>

             <name>hive.metastore.uris</name>

             <value>thrift://master-centos:9083</value>

             <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>

     </property>

 </configuration>

 并分发到各个节点中

2、如hive元数据采用的是mysql，则需将mysql-connector-java-5.1.25-bin.jar放置 spark/lib下

3、修改 spark-defaults.conf 配置文件

spark-default.conf

spark.master    spark://192.168.130.140:7077

spark.driver.memory     512m

spark.executor.memory  512m

spark.eventLog.enabled  true

spark.eventLog.dir hdfs://192.168.130.140:8020/user/spark/logs （需提前在hadoop上创建好该目录）

并分发到各个节点中

4、启动hive metastore 服务

5、如需通过jdbc方式连接spark，则启动spark thriftserver服务

start-thriftserver.sh --master spark://192.168.130.140:7077 --executor-memory 1g  --total-executor-cores 2 --executor-cores 1 --hiveconf hive.server2.thrift.port=10050 --conf spark.dynamicAllocation.enabled=false