搭建hadoop+Hbase,JAVA API操作HBase

一、实验背景

​ 了解HBase的存储形式https://blog.csdn.net/worldchinalee/article/details/82692185 HBase基于列的而不是基于行的模式。

​ Hbase 全称为 Hadoop Database，即 Hbase 是 Hadoop 的数据库，是一个分布式的存储系统。Hbase 利用 Hadoop 的 HDFS 作为其文件存储系统，利用 Hadoop 的 MapReduce 来处理 Hbase 中的海量数据。利用 ZooKeeper 作为其协调工具。 HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

二、实验环境

· 一台1核2G的主机，两台1核1G的从机

· 镜像系统为Centos6.4

· 三台主机都已经安装JDK1.8.0，并在 /etc/profile 配置了环境变量

· 三台主机配置好SSH免密码登录

· 三台主机搭建好的Hadoop集群环境，版本为2.7.7

三、实验步骤

步骤一：搭建hbase的环境

1.下载解压

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/stable/hbase-2.2.4-bin.tar.gz

tar xzvf hbase-2.2.4-bin.tar.gz  -C /bigdata

2.配置环境

cd /bigdata/hbase-2.2.4

cd conf/

(1)配置vi hbase-env.sh

JAVA_HOME=/bigdata/jdk1.8.0_241

(2)配置vi hbase-site.xml

<property>
<name>hbase.rootdir</name>
<value>hdfs://server1:9000/hbase/hbase_db</value>
</property>

<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>server1,server2,server3</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/data/hbase/zookeeper</value>
</property>
<property>
<name>hbase.master.info.port</name>
<value>16610</value>
</property>

(3)配置vi regionservers

server1

server2

server3

将文件复制给server2，server3

scp -r hbase-2.2.4 server2:/bigdata/

scp -r hbase-2.2.4 server3:/bigdata/

3.启动hbase

cd /bigdata/hbase-2.2.4

./bin/start-hbase.sh

./bin/hbase shell

步骤二：启动hadoop和hbase，关于一些hbase的操作

1. 启动hadoop和 hbase

#启动hadoop

cd /bigdata/hadoop-2.7.7/

./sbin/start-dfs.sh

./sbin/start-yarn.sh

#启动hbase

./bin/start-hbase.sh

./bin/hbase shell

2.运行一些简单的命令

存储的方式

（1）创建表格：

hbase(main):001:0> create 'x','cf1','cf2'

（2）插入数据

插入数据的内容

第一行
put 'x','r001','cf1:name','xiyangyang'
put 'x','r001','cf1:addr','yangcun'
put 'x','r001','cf2:age','5'
put 'x','r001','cf2:sex','man'
第二行
put 'x','r002','cf1:name','huitailang'
put 'x','r002','cf1:addr','langwo'
put 'x','r002','cf2:age','15'
put 'x','r002','cf2:sex','man'

（3）查看记录

hbase(main):014:0> get 'x','r001'

（4）查看表中的记录总数

hbase(main):013:0> count 'x'

(5) 删除记录

hbase(main):015:0> delete 'x','r001','cf1:name'

（6）删除一张表

hbase(main):019:0> disable 'tt'
hbase(main):021:0> drop 'tt'

（7）查看所有记录

hbase(main):002:0> scan 'x'

（8）查看某个表某个列中所有数据

hbase(main):003:0> scan 'x',{COLUMNS=>'cf1:name'}

步骤三：java API访问hbase

1.创建一个maven文件，在pom.xml加入hbase需要的jar包

<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>3.8.1</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.3.6</version>
</dependency>
<dependency>

2.java API操作hbase

（1）创建表

package xgs.xgs11;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.Table;
import org.junit.Test;
import org.junit.Before;

public class HBase {
Configuration config = null;
private Connection connection = null;
private Table table = null;

@Before
public void init() throws Exception {
config = HBaseConfiguration.create();// 配置
config.set("hbase.zookeeper.quorum", "192.168.2.131,192.168.1.132,192.168.2.133");// zookeeper地址
config.set("hbase.zookeeper.property.clientPort", "2181");// zookeeper端口
connection = ConnectionFactory.createConnection(config);
table = connection.getTable(TableName.valueOf("users"));
System.out.println("hhh");
}
@Test
//创建表
public void testCreateTable() throws Exception{
//创建表管理类
HBaseAdmin admin = new HBaseAdmin(config);
//创建表描述类
TableName tableName = TableName.valueOf("test2");
HTableDescriptor descriptor = new HTableDescriptor(tableName);
//创建列族描述类
HColumnDescriptor info1 = new HColumnDescriptor("info1");
//列族加入表中
descriptor.addFamily(info1);
HColumnDescriptor info2 = new HColumnDescriptor("info2");
descriptor.addFamily(info2);
System.out.println("woliochenggonghaichayibu");
//创建表
admin.createTable(descriptor);
System.out.println("-----create-----");
}

}

（2）删除表

@Test
public void testDeleteTable() throws Exception{
HBaseAdmin admin = new HBaseAdmin(config);
admin.disableTable("test2");
admin.deleteTable("test2");
System.out.println("----delete----");
}

（3）单条插入（修改）

@Test
//单条插入（修改）
public void testPut() throws Exception{
//rowkey
Put put = new Put(Bytes.toBytes("r0003"));
//列族，列，值
put.add(Bytes.toBytes("cf1"), Bytes.toBytes("addr"), Bytes.toBytes("yangcun"));
put.add(Bytes.toBytes("cf1"), Bytes.toBytes("name"), Bytes.toBytes("lanyangyang"));
table.put(put);
System.out.println("----put-----");
//提交
//table.flushCommits();
}

（4）多条查询

@Test
//多条查询
public void testGetMany() throws Exception{

Scan scan = new Scan();
//字典序   类似于分页
//scan.setStartRow(Bytes.toBytes("cf1"));
//scan.setStopRow(Bytes.toBytes("'cf2"));
ResultScanner resultScanner = table.getScanner(scan);
System.out.println(resultScanner);
for (Result result : resultScanner) {
//Single row result of a Get or Scan query. Result
//Result 一次获取一个rowkey对应的记录
//列族，列名
byte[] addr = result.getValue(Bytes.toBytes("cf1"), Bytes.toBytes("addr"));
byte[] name = result.getValue(Bytes.toBytes("cf1"), Bytes.toBytes("name"));
System.out.print(Bytes.toString(addr)+",");
System.out.print(Bytes.toString(name));
System.out.println();
}
System.out.println("----GetMany----");
}

四、实验分析

1.java API创建表的时候卡住admin.createTable(descriptor);

解决方法：

（1）hadoop 关闭安全模式：hadoop dfsadmin -safemode leave

（2）在C:\Windows\System32\drivers\etc\hosts中，加上虚拟机的ip 主机名

192.168.2.131 server1
192.168.2.132 server2
192.168.2.133 server3