HBase/Hadoop 安装之前需要注意的配置问题
2017-01-08 10:27
309 查看
资源限制命令 : ulimit 和 noproc
HBase 和其他的数据库软件一样会同时打开很多个文件. Linux默认的ulimit值是1024, 这对HBase来说太小了. 当使用诸如bulkload这种工具批量导入数据的时候会得到这样的异常信息: java.io.IOException:Too many open files.这里我们需要改变这个值, 注意, 这是对操作系统的设置, 而不是通过HBase配置文件完成的. 我们可以大致估算出ulimit值需要配置为多大, 例如: 每个列族至少有一个存储文件(HFile), 每个被加载的Region可能管理多达5到6个列族所对应的存储文件, 用于存储文件的个数乘以列族数再乘以每个RegionServer中的Region数量得到RegionServer主机管理的存储文件数量.
关于ulimit有两个地方需要体征,
1 . 通过/etc/security/limits.conf追加参数进行设置, 一个参数是nofile, 设置如下:
* soft nofile 10240
* hard nofile 10240
如果没有设置这个参数可能会得到上面说的异常. 这个设置表示限制打开的文件数. 这个配置不能立即生效, 还需要通过ulimit -n 设置, 可以执行下面的命令:
ulimit -n 10240
2. 另外一个参数是noproc, 这个配置是限制用户打开的进程数, 设置如下:
* soft noproc 10240
* hard noproc 10240
该设置可以即时生效, 可以通过ulimit -c查看, 如果不设置noproc,可能得到如下异常:
java.lang.OutputMemoryError: unable to create new native thread
实际上这两个参数对HDFS和MapReduce也至关重要, 应该在启动Hadoop之前就设置好. 另外注意这两个参数是针对操作系统用户的, * 代表对所有用户生效.
dfs.datanode.max.xcievers
Hadoop的Datanode有一个用于设置同时处理文件的上限个数的参数, 这个参数叫xcievers, 在启动之前, 先确认有没有配置Hadoop的conf目录下的hdfs-site.xml中的xcievers参数, 默认值是256, 这对于一个任务很多的集群来说太小了, 至少是4096, 一个大型集群通常比这个值还大的多.<property> <name>dfs.datanode.max.xcievers</name> <value>4096</value> </property>
对于HDFS, 如果修改此项配置, 要记得重启. 如果没有这一项配置, 可能会遇到奇怪的失败. 虽然会在Datanode的日志中看到excievers exceeded, 但是运行起来汇报missing blocks错误.
java.io.IOException: xcieverCount 258 exceeds the limit of concurrent xcievers 256
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- Facebook's New Real-time Messaging System: HBase to Store 135+ Billion Messages a Month
- 单机版搭建Hadoop环境图文教程详解
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- hadoop常见错误以及处理方法详解
- 基于HBase Thrift接口的一些使用问题及相关注意事项的详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- java 字符串内存分配的分析与总结(推荐)
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- 如何解决struts2日期类型转换
- java 保留两位小数的几种方法
- Java IO流 文件传输基础
- Eclipse中查看android工程代码出现"android.jar has no source attachment"的解决方案
- 基于Java实现杨辉三角 LeetCode Pascal's Triangle
- hadoop client与datanode的通信协议分析