Spark整合HBase,Hive
2016-12-02 18:29
405 查看
背景:
场景需求1:使用spark直接读取HBASE表
场景需求2:使用spark直接读取HIVE表
场景需求3:使用spark读取HBASE在Hive的外表
摘要:
1.背景
2.提交脚本
内容
场景需求1:使用spark直接读取HBASE表
编写提交脚本:
场景需求2:使用spark直接读取HIVE表
编写提交脚本:
场景需求3:使用spark读取HBASE在Hive的外表
编写提交脚本:
2.代码例子
pom添加HBase依赖:https://github.com/Tongzhenguo/my_scala_code/blob/master/pom.xml
编写Spark Driver Application 类:https://github.com/Tongzhenguo/my_scala_code/blob/master/src/main/scala/utils/HBaseSparkReadUtils.scala
场景需求1:使用spark直接读取HBASE表
场景需求2:使用spark直接读取HIVE表
场景需求3:使用spark读取HBASE在Hive的外表
摘要:
1.背景
2.提交脚本
内容
场景需求1:使用spark直接读取HBASE表
编写提交脚本:
export SPARK2_HOME=/var/lib/hadoop-hdfs/spark-2.0.0-bin-hadoop2.4 export HBASE_LIB_HOME=/opt/cloudera/parcels/CDH/lib/hbase $SPARK2_HOME/bin/spark-shell --jars \ $HBASE_LIB_HOME/hbase-common-0.98.6-cdh5.3.2.jar\ ,$HBASE_LIB_HOME/hbase-client-0.98.6-cdh5.3.2.jar\ ,$HBASE_LIB_HOME/hbase-protocol-0.98.6-cdh5.3.2.jar,\ ,$HBASE_LIB_HOME/hbase-server-0.98.6-cdh5.3.2.jar\ ,$HBASE_LIB_HOME/lib/htrace-core-2.04.jar
场景需求2:使用spark直接读取HIVE表
编写提交脚本:
export OPT_LIB_HOME=/var/lib/spark/lib export HBASE_LIB_HOME=/var/lib/hbase/lib /data/dmp/spark/bin/pyspark --master yarn-client \ --jars $OPT_LIB_HOME/mysql-connector-java-5.1.26-bin.jar
场景需求3:使用spark读取HBASE在Hive的外表
编写提交脚本:
export SPARK_HOME=/data/dmp/spark export OPT_LIB_HOME=$SPARK_HOME/lib $SPARK_HOME/bin/pyspark --master yarn-client \ --jars $OPT_LIB_HOME/mysql-connector-java-5.1.26-bin.jar,$OPT_LIB_HOME/hive-hbase-handler-1.2.1.jar,$OPT_LIB_HOME/hbase-client-0.98.6-cdh5.3.3.jar,$OPT_LIB_HOME/hbase-common-0.98.6-cdh5.3.3.jar,$OPT_LIB_HOME/hbase-hadoop2-compat-0.98.6-cdh5.3.3.jar,$OPT_LIB_HOME/hbase-protocol-0.98.6-cdh5.3.3.jar,$OPT_LIB_HOME/hbase-server-0.98.6-cdh5.3.3.jar,$OPT_LIB_HOME/htrace-core-2.04.jar,$OPT_LIB_HOME/guava-14.0.1.jar
2.代码例子
pom添加HBase依赖:https://github.com/Tongzhenguo/my_scala_code/blob/master/pom.xml
编写Spark Driver Application 类:https://github.com/Tongzhenguo/my_scala_code/blob/master/src/main/scala/utils/HBaseSparkReadUtils.scala
相关文章推荐
- Sublime Text 中文标题异常但是内容正常解决方案
- Java 高并发八:NIO和AIO详解
- android repository github
- Tempter of the Bone
- javascript日期对象Date对象方法
- 【学习日志】关于Python web开发测试驱动方法
- 机器学习常见十大算法
- AngularJS常用指令
- Caffe简介
- 【算法杂谈】埃氏素数筛
- 图片加载的缓存工具类
- javascript布尔类型boolean对象方法
- java 移除字符串前面的0 字符
- Java中的ReentrantLock和synchronized两种锁定机制的对比
- angular表单验证实例----可用的代码
- CentOS系统MySQL双机热备配置
- 数据结构-Java实现散列表
- 12.2
- QDockWidget
- marathon 内部docker调用用vip还是name