大数据学习笔记1
2015-09-29 13:17
127 查看
Hadoop学习笔记
本文是关于在环境搭建过程中我个人遇到的问题的记录,所以并没有具体过程,过程大家可以自行在网上找,我也是在网上找的,并没有太大的区别。1.版本问题
本人用的环境是:jdk1.8hadoop 2.7.1
zookeeper 3.4.6
hbase 1.1.2
其中,hadoop1.x和2.x差别非常大,并不通用,因此1.x的教程对于2.x来说基本上完全没有参考价值,当然如果深入到框架和原理,那肯定是一脉相承的。
因为是实验环境,所以采用的版本都是最新的,工程中,据说1.x更加稳定一些。
hadoop2.7.1和zookeeper3.4.6只能支持hbase1.x,最通用的0.94版本会有问题,这点大家一定要注意。
如果使用以上环境,java版本需要大于1.7,否则会有问题的。
2.系统环境
本人在实验室用的三台真机搭建的完全分布式环境,分别是fedora22,fedora 22和ubuntu12,其中要注意的就是防火墙和ssh免登陆,第一步一定要关闭防火墙,不然会出现很奇怪的问题,没有截图~~~,其中fedora 22关闭防火墙比较麻烦,命令是:systemctl stop firewalld.service
关于ssh免登陆是指三台机子互相之前全部都是免登陆,类似全连通,这个很多教程都没有说清楚。
3.启动
启动顺序是先启动hadoop,然后启动zookeeper,最后启动hbase,这是因为zookeeper用来管理hadoop,hbase则需要使用zookeeper。在hbase-env.sh中配置export HBASE_MANAGES_ZK=false,则表示不用自带的zookeeper,那么就需要自己手动先启动zookeeper,设置为true则使用自带的zookeeper
先写这么多吧,因为是回忆,慢慢来吧,还没有吃饭呢~~~
相关文章推荐
- exits和In的区别(http://hi.baidu.com/delphi_relive/blog/item/d7c0034a49c4932208f7ef21.html)
- tair(二)--概述
- tair(一)--入门
- 云计算概念
- 增加samba用户提示Failed to add entry for user
- editor does not contain a main type的解决方案
- 《大数据的冲击》
- 文件系统检测工具AIDE
- how to prevent hadoop job to fail on corrupted input file
- 解读HDFS
- 采用opencv_cascadetrain进行训练的步骤及注意事项
- Win10 用户强烈要求:取消登录界面Email信息,避免暴露隐私
- 用opencv的traincascade.exe训练行人的HAAR、LBP和HOG特征的xml
- Odoo 8.0 新API 之constrains装饰
- 物联网通信协议介绍
- 农业物联网具有四大优势 有关运用途径浅谈
- libgdx API之AI:AI让游戏对象思考
- Light oj 1223 - Testing Mailboxes(记忆化)
- 大数据学习篇:hadoop深入浅出系列之HDFS(六) ——JavaAPI操作
- 9.28facebook获取用户email,fragment