您的位置:首页 > 运维架构 > Linux

【Hbase】ubuntu下单节点安装hbase存储使用hdfs

2013-03-13 02:34 381 查看
本次单机配置是使用了hdfs,而单机状态下也可以使用本机存储。使用本地文件存储的配置方式请详见:http://hi.baidu.com/s120922718/item/b441c8c287b25c3544941655

使用hdfs配置,可以看官方文档 :http://hadoop.apache.org/docs/stable/single_node_setup.html

通过上述可以看到如果想使用hdfs必须首先安装hadoop。hdfs(Hadoop distribute file system)是Hadoop工程的一个模块,是Hadoop的底层存储,主要负责hadoop在计算的时候数据存储。它具有高容错性,可扩展,支持pb级别数据。其实如果单机配置下使用hdfs并不能发挥hdfs带来的好处。hdfs就是通过多个节点来具有高容错性和快速访问的特性,单个节点下是不能提供这些特性的。

如果hbase使用hdfs做底层存储,则必须首先安装hadoop

而在安装hadoop过程中主要需要注意的地方包括:

1:要配置无密码登录,你可以在ssh下生成一个密钥,然后把密钥存在相应的位置,一般是用户目录下的.shh文件夹下

2:如果要创建单独的群组和单独的用户的话,记得把所有hadoop运行相关的文件的拥有者修改为hadoop群组下的hadoop用户。

3:都配置好之后记得要格式化hdfs,否则可能会导致链接datanode一直失败 格式化命令 bin/hadoop namenode -format

这里需要注意的地方是,格式化hdfs的用户与启动hdfs的用户必须是同一个用户,否则会报错。那如果真的是启动的时候和格式化的时候不是同一个怎么办,那只能是把所有数据文件删除,然后重新格式化文件系统。

4:最后验证是否hadoop启动成功,使用jps查看线程是否有hadoop的各种node启动线程;或者访问其提供的web客户端。

在hadoop中经常遇到的问题请点击另一篇博文
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  Hadoop Hbase HDFS Ubuntu Linux