您的位置:首页 > 运维架构 > Shell

spark-shell 统计hbase数据条数

2016-09-29 13:51 351 查看
sc.stop
sc.stop

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.hbase.client.HBaseAdmin
import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor, TableName}
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org.apache.spark._

val sparkConf = new SparkConf().setAppName("HbaseCount")
sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")
val sc = new SparkContext(sparkConf)
val hbaseConf: Configuration = HBaseConfiguration.create()
hbaseConf.set(TableInputFormat.INPUT_TABLE, "wenda")
val hBaseRDD = sc.newAPIHadoopRDD(hbaseConf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], classOf[org.apache.hadoop.hbase.client.Result])
hBaseRDD.count
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: