大数据伪分布式环境搭建hadoop+zookeeper+hive+sqoop+hbase

最近开始学习大数据，自己在虚拟机中搭建了一套环境，因为参考的博客写的很详细，自己不再重写，只给出链接：http://blog.csdn.net/pucao_cug?viewmode=contents

1.安装hadoop: http://blog.csdn.net/pucao_cug/article/details/71698903
2.安装hive: http://blog.csdn.net/pucao_cug/article/details/71773665
3.安装sqoop: http://blog.csdn.net/pucao_cug/article/details/72083172
4.安装zookeeper: http://blog.csdn.net/pucao_cug/article/details/72228973
5.安装hbase: http://blog.csdn.net/pucao_cug/article/details/72229223
6.安装spark: http://blog.csdn.net/pucao_cug/article/details/72353701
自己在搭建过程中，出的一些问题：

1.配置authorized_keys文件 生成key文件后，在hserver1上拷贝时少了开头的一个字母，结果hserver1通过ssh跳转hserver2和hserver3时，从要输密码；

2.hadoop初始化时只初始化一次；自己曾在重启后又进行了初始化，结果造成VERSION不一致，后面hive无法使用，将初始化生成的文件全部删除后，重新初始化，解决了问题；

3.zookeeper改成集群时，总是报：Error contacting service. It is probably not running

网上看了下'Error contacting
service. It is probably not running.'类错误不外乎3种答案:

1,配置文件zoo.cfg中的datadir文件夹未创建导致

2,防火墙未关闭,建议永久关闭防火墙-->chkconfig
iptables off

3,修改sh脚本里的一个nc的参数来解决，可在自己的版本中并没有找到nc的调用。-->nc属于老版本,新版本没有了nc

我的zookeeper是设置成开机自启的，我是在确认配置没有问题后，永久关闭防火墙-->chkconfig
iptables off，然后测试成功的，status状态1个leader,2个slave

现在开机后需要启动的命令：

0.防火墙已设置为开机不开起

1.启动hadoop

进入到hserver1这台机器的/opt/hadoop/hadoop-2.8.0/sbin目录

cd /opt/hadoop/hadoop-2.8.0/sbin

./start-all.sh



2.

hadoop测试页面
http://192.168.229.139:50070/



http://192.168.229.139:8088/


3.hive测试页面
http://192.168.229.139:50070/explorer.html#/user/hive/warehouse/db_hive_edu.db


4.sqoop测试命令



显示mysql库的表

sqoop list-tables --username root --password '123456' --connect jdbc:mysql://192.168.229.139:3306/hive?characterEncoding=UTF-8



创建对应的mysql表

sqoop create-hive-table --connect jdbc:mysql://192.168.229.139:3306/hive?characterEncoding=UTF-8 --table t_test1 --username root -password '123456' --hive-database db_hive_edu

导入数据

sqoop import --connect jdbc:mysql://192.168.229.139:3306/hive?characterEncoding=UTF-8 --table data_base --username root -password '123456' --fields-terminated-by ',' --hive-import --hive-database db_hive_edu -m 1

5.zookeeper集群版本

已设置开机自启

查看status /opt/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status

6.

Hbase是基于hadoop提供的分布式文件系统的，所以启动Hbase之前，先确保hadoop在正常运行，另外Hbase还依赖于zookkeeper，本来我们可以用hbase自带的zookeeper，但是我们上面的配置启用的是我们自己的zookeeper集群，所以在启动hbase前，还要确保zokeeper已经正常运行。

在hserver1上执行命令，进入到Hbase的bin目录内，命令是：

cd /opt/hbase/hbase-1.2.6/bin

执行命令启动Hbase，命令是：

./start-hbase.sh



用浏览器访问Hbase状态信息

直接访问地址：http://192.168.229.139:16030/



启动hbase的命令行

执行命令，进入到Hbase的bin目录内，命令是：

cd /opt/hbase/hbase-1.2.6/bin

执行命令启动Hbase命令行窗口，命令是：

./hbase shell



在hbase命令行模式下，可以输入一系列hbase命令，进行测试

输入：status

如果要退出Hbase命令行模式的话，输入：exit