SparkSQL与Hive的整合
2017-04-25 14:49
375 查看
SparkSQL与Hive的整合
1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加
export HIVE_HOME=/usr/local/apache-hive-0.13.1-bin
export SPARK_CLASSPATH=$HIVE_HOME/lib/mysql-connector-java-5.1.15-bin.jar:$SPARK_CLASSPATH
3. 另外也可以设置一下Spark的log4j配置文件，使得屏幕中不打印额外的INFO信息:
log4j.rootCategory=WARN, console
好了，SparkSQL与Hive的整合就这么简单，配置完后，重启Spark slave和master.
进入$SPARK_HOME/bin
执行 ./spark-sql --master spark://node:7077 --executor-memory 1g进入spark-sql:
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- SparkSQL：Spark整合Hive
- SparkSql整合Hive注意点
- spark sql与hive整合
- Spark-Sql整合hive，在spark-sql命令和spark-shell命令下执行sql命令和整合调用hive
- 3.sparkSQL整合Hive
- sparksql与hive整合
- spark整合hive和sql
- Spark SQL整合Hive使用
- 实战 - Spark SQL 整合Hive时，报错找不到mysql驱动
- SparkSQL与Hive的整合
- Spark-SQL与hive整合【版本spark1.6.0+hive0.14】--Standalone模式
- Spark-Streaming与Spark-Sql整合实现实时股票排行---通过kafka列队数据
- SparkSQL与Hive的应用关系
- SparkSQL读取Hive中的数据
- spark sql 无法访问 hive metastore问题解决
- 整合spark和hive
- SparkSQL On Yarn with Hive，操作和访问Hive表
- Spark(Hive) SQL中UDF的使用（Python）
- Spark(Hive) SQL中UDF的使用（Python）
- Impala，Hive，SparkSQL数据清洗后对后续查询的影响比较