Hbase的completebulkload导入数据
2015-11-23 22:16
316 查看
有时候,我们需要将日志文件中的数据导入到Hbase中,通常情况下,你可以写一个方法逐行读取日志记录然后写入到Hbase中,但是这种方法往往效率比较低下,更好地方式试讲日志文件的内容通过某种工具直接导入到Hbase中,会显得更快速更方便,Hbase中有现成的工具支持来这么做。
这两个工具分别是ImportTSV和complete不离开load。
ImportTSV是用来将日志文件转化成HFile文件的。
1.首先要用ImportTSV生成HFile文件
命令行:hbase$bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=","
-Dimporttsv.bulk.output=hfile_simple -Dimporttsv.columns=HBASE_ROW_KEY,cf b hdfs://localhost:9000/user/hadoop/input1/simple.cvs
生成的Hbase下面的HFile文件如下图所示:
或者用命令行 :
hadoop jar ${HBASE_HOME}/hbase-version.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,CF
-Dimporttsv.bulk.output=/user/
hfile/test_hfile.log tablename /user/log/test.log
需要注意的是上面每行记录的分隔是空格符号,如果是其它符号,比如#,则需要加一个参数-Dimporttsv.separator=#,则语句为:
hadoop jar ${HBASE_HOME}/hbase-0.92.1.jar importtsv
-Dimporttsv.columns=HBASE_ROW_KEY,d:c1,d:c2 -Dimporttsv.bulk.output=/user/
hfile/test_hfile.log -Dimporttsv.separator=# datatsv /user/log/test.log
Completebulkload的作用就是将HFile文件导入到Hbase中,在这里,就将上面生成的HFile文件导入到Hbase表b中。
然后利用命令行:
两种方法:
第一种:
$bin/hbase org.apache.hadoop.mapreduce.LoadIncrementalHFiles <hdfs://storefileoutput> <tablename>
具体代码如下:
导入数据的结果如图;
第二种方法:(我没用,因为Hbase1.0.0的jar包不知道要用哪一个)
命令如下:
${Hadoop_HOME}$bin/hadoop jar ${HBASE_HOME}/hbase-version.jar completebulkload <hdfs://storefileoutput> <tablename>
这两个工具分别是ImportTSV和complete不离开load。
ImportTSV是用来将日志文件转化成HFile文件的。
1.首先要用ImportTSV生成HFile文件
命令行:hbase$bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=","
-Dimporttsv.bulk.output=hfile_simple -Dimporttsv.columns=HBASE_ROW_KEY,cf b hdfs://localhost:9000/user/hadoop/input1/simple.cvs
生成的Hbase下面的HFile文件如下图所示:
或者用命令行 :
hadoop jar ${HBASE_HOME}/hbase-version.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,CF
-Dimporttsv.bulk.output=/user/
hfile/test_hfile.log tablename /user/log/test.log
需要注意的是上面每行记录的分隔是空格符号,如果是其它符号,比如#,则需要加一个参数-Dimporttsv.separator=#,则语句为:
hadoop jar ${HBASE_HOME}/hbase-0.92.1.jar importtsv
-Dimporttsv.columns=HBASE_ROW_KEY,d:c1,d:c2 -Dimporttsv.bulk.output=/user/
hfile/test_hfile.log -Dimporttsv.separator=# datatsv /user/log/test.log
Completebulkload的作用就是将HFile文件导入到Hbase中,在这里,就将上面生成的HFile文件导入到Hbase表b中。
然后利用命令行:
两种方法:
第一种:
$bin/hbase org.apache.hadoop.mapreduce.LoadIncrementalHFiles <hdfs://storefileoutput> <tablename>
具体代码如下:
导入数据的结果如图;
第二种方法:(我没用,因为Hbase1.0.0的jar包不知道要用哪一个)
命令如下:
${Hadoop_HOME}$bin/hadoop jar ${HBASE_HOME}/hbase-version.jar completebulkload <hdfs://storefileoutput> <tablename>
相关文章推荐
- HDU 5144 NPY and shot (公式+三分)
- UVA 1424 Salesmen
- Nginx发布Alias虚拟目录及PHP支持配置方法
- 深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
- 产品推荐
- Zookeeper集群的安装教程
- C语言段与内存的理解
- 南大软院大神养成计划--day08
- 设置界面-更新
- 九度oj-1088-剩下的树
- 好的深度学习——学习地址
- JDK-Eclipse-Android_SDK-ADT详细图文安装教程(2)
- TypeScript
- Django下使用静态文件方法
- 设置界面的搭建和封装
- 众筹一元夺宝---会玩的赶紧来组团
- spring mvc 结合jackson返回的日期格式问题
- POJ 1389 (扫描线)
- week12---11月24日 JS基础(九)
- 学习adams遇到问题(持续更新)。。。。。!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!