spark-shell 统计hbase数据条数
2016-09-29 13:51
351 查看
sc.stop sc.stop import org.apache.hadoop.conf.Configuration import org.apache.hadoop.hbase.client.HBaseAdmin import org.apache.hadoop.hbase.{HBaseConfiguration, HTableDescriptor, TableName} import org.apache.hadoop.hbase.mapreduce.TableInputFormat import org.apache.spark._ val sparkConf = new SparkConf().setAppName("HbaseCount") sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer") val sc = new SparkContext(sparkConf) val hbaseConf: Configuration = HBaseConfiguration.create() hbaseConf.set(TableInputFormat.INPUT_TABLE, "wenda") val hBaseRDD = sc.newAPIHadoopRDD(hbaseConf, classOf[TableInputFormat], classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable], classOf[org.apache.hadoop.hbase.client.Result]) hBaseRDD.count
相关文章推荐
- spark-shell 统计hbase数据条目数
- 快速统计hbase中某张表中数据条数
- 从新浪财经上下载交易明细数据并统计每天的买卖笔数(shell 命令行)
- HBase在数据统计应用中的使用心得
- shell脚本实现的网站日志分析统计(可以统计9种数据)
- Mapreduce读取和写入Hbase(从A表读取数据,统计结果放入B表,非常详细,附有代码说明以及流程)
- HBase在数据统计应用中的使用心得
- shell脚本统计: netstat数据
- spark1.0.2读取hbase(CDH0.96.1)上的数据
- spark读取hbase数据做分布式计算
- shell实现类矩阵格式数据统计及输出(hive环境下数据的过程化处理)
- HBase在数据统计应用中的使用心得
- PHP/Shell大文件数据统计并且排序
- 一些常用的数据统计shell
- 使用shell脚本分析网站日志统计PV、404、500等数据
- shell应用:统计指定格式超过n秒的数据
- shell_实现分组统计数据
- Java统计学习之道:HBase在数据统计应用中的使用心得
- hbase之python利用thrift操作hbase数据和shell操作