【Hbase】ubuntu下单节点安装hbase存储使用hdfs
2013-03-13 02:34
381 查看
本次单机配置是使用了hdfs,而单机状态下也可以使用本机存储。使用本地文件存储的配置方式请详见:http://hi.baidu.com/s120922718/item/b441c8c287b25c3544941655
使用hdfs配置,可以看官方文档 :http://hadoop.apache.org/docs/stable/single_node_setup.html
通过上述可以看到如果想使用hdfs必须首先安装hadoop。hdfs(Hadoop distribute file system)是Hadoop工程的一个模块,是Hadoop的底层存储,主要负责hadoop在计算的时候数据存储。它具有高容错性,可扩展,支持pb级别数据。其实如果单机配置下使用hdfs并不能发挥hdfs带来的好处。hdfs就是通过多个节点来具有高容错性和快速访问的特性,单个节点下是不能提供这些特性的。
如果hbase使用hdfs做底层存储,则必须首先安装hadoop
而在安装hadoop过程中主要需要注意的地方包括:
1:要配置无密码登录,你可以在ssh下生成一个密钥,然后把密钥存在相应的位置,一般是用户目录下的.shh文件夹下
2:如果要创建单独的群组和单独的用户的话,记得把所有hadoop运行相关的文件的拥有者修改为hadoop群组下的hadoop用户。
3:都配置好之后记得要格式化hdfs,否则可能会导致链接datanode一直失败 格式化命令 bin/hadoop namenode -format
这里需要注意的地方是,格式化hdfs的用户与启动hdfs的用户必须是同一个用户,否则会报错。那如果真的是启动的时候和格式化的时候不是同一个怎么办,那只能是把所有数据文件删除,然后重新格式化文件系统。
4:最后验证是否hadoop启动成功,使用jps查看线程是否有hadoop的各种node启动线程;或者访问其提供的web客户端。
在hadoop中经常遇到的问题请点击另一篇博文
使用hdfs配置,可以看官方文档 :http://hadoop.apache.org/docs/stable/single_node_setup.html
通过上述可以看到如果想使用hdfs必须首先安装hadoop。hdfs(Hadoop distribute file system)是Hadoop工程的一个模块,是Hadoop的底层存储,主要负责hadoop在计算的时候数据存储。它具有高容错性,可扩展,支持pb级别数据。其实如果单机配置下使用hdfs并不能发挥hdfs带来的好处。hdfs就是通过多个节点来具有高容错性和快速访问的特性,单个节点下是不能提供这些特性的。
如果hbase使用hdfs做底层存储,则必须首先安装hadoop
而在安装hadoop过程中主要需要注意的地方包括:
1:要配置无密码登录,你可以在ssh下生成一个密钥,然后把密钥存在相应的位置,一般是用户目录下的.shh文件夹下
2:如果要创建单独的群组和单独的用户的话,记得把所有hadoop运行相关的文件的拥有者修改为hadoop群组下的hadoop用户。
3:都配置好之后记得要格式化hdfs,否则可能会导致链接datanode一直失败 格式化命令 bin/hadoop namenode -format
这里需要注意的地方是,格式化hdfs的用户与启动hdfs的用户必须是同一个用户,否则会报错。那如果真的是启动的时候和格式化的时候不是同一个怎么办,那只能是把所有数据文件删除,然后重新格式化文件系统。
4:最后验证是否hadoop启动成功,使用jps查看线程是否有hadoop的各种node启动线程;或者访问其提供的web客户端。
在hadoop中经常遇到的问题请点击另一篇博文
相关文章推荐
- 【Hbase】ubuntu下单节点安装hbase存储使用hdfs
- hbase安装(分布式+外挂zk+hdfs存储)
- Ubuntu 14.04下单节点Ceph安装(by quqi99)
- Ubuntu下HBase安装与使用(shell+Java API)
- Ubuntu16下安装使用HBase
- 分布式内存文件系统alluxio的安装,底层存储使用hdfs
- hbase安装(使用已经安装的HDFS和zookeeper)
- Ubuntu server 11.04安装memcache及php使用memcache来存储session的方法
- 大数据基础(二)hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出
- Ubuntu server 11.04 安装memcache 以及使用memcache 来存储 session
- Ubuntu 12.04.3 X64 使用 NFS 作为文件共享存储方式 安装 Oracle11g RAC
- Ubuntu下HBase安装与使用(shell+Java API)
- Ubuntu 9.0 下之HBase 0.90.4 的安装和使用
- Ubuntu server 11.04安装memcache及php使用memcache来存储session的方法
- Ubuntu 9.0 下之HBase 0.90.4 的安装和使用
- 『ubuntu17.10系统使用』安装打印机驱动程序
- 使用usb+preseed在virtualbox上安装ubuntu(一)
- 查看集群文件使用状态hdfs dfs -du -h /hbase --max-depth=1
- 在预装Win8的thinkpad 上安装ubuntu 12.04,使用双系统
- ubuntu 录音软件audacity 安装和使用