hbase参数调优 hbase.hregion.max.filesize
2017-12-11 11:44
211 查看
hbase.hregion.max.filesize
我们知道，hfile存储数据是按column family存储的，也就是任何一个列蔟存储值大于这个参数，都会发生hbase的split,
这个值过大，读写hbase的速度会变慢，因为底层对hdfs的读写操作由于文件数量少，很难做到高并发，高吞吐，过小会发生频繁的文件split,split会使数据短暂offline,会对数据的访问有一定影响，不太稳定，所以这个值不能太小也不能太大，100-200MB基本能满足需求
我们知道，hfile存储数据是按column family存储的，也就是任何一个列蔟存储值大于这个参数，都会发生hbase的split,
这个值过大，读写hbase的速度会变慢，因为底层对hdfs的读写操作由于文件数量少，很难做到高并发，高吞吐，过小会发生频繁的文件split,split会使数据短暂offline,会对数据的访问有一定影响，不太稳定，所以这个值不能太小也不能太大，100-200MB基本能满足需求
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- MAX_DUMP_FILE_SIZE参数：限制trace files及alert file大小
- oracle的MAX_DUMP_FILE_SIZE参数和ora-02065
- 被人遗忘的MAX_FILE_SIZE文件上传限制大小参数
- 采用max_dump_file_size 参数限制trc文件大小
- 使用max_dump_file_size 参数限制trc文件的大小
- 被人遗忘的MAX_FILE_SIZE文件上传限制大小参数
- mysql5.7.12/13在安装新实例时报错：InnoDB: auto-extending data file ./ibdata1 is of a different size 640 pages (rounded down to MB) than specified in the .cnf file: initial 768 pages, max 0 (relevant if non-zero
- 参数CONTROL_FILE_RECORD_KEEP_TIME和MAXLOGHISOTRY
- tomcat7以上，设置maxPostSize="0"参数后台获取不到的问题
- HBase写入性能改造(续)--MemStore、flush、compact参数调优及压缩卡的使用
- Android studio 修复编译MaxPermSize参数无法使用
- 参数CONTROL_FILE_RECORD_KEEP_TIME和MAXLOGHISOTRY
- Mysql 同步故障处理 （参数 slave_pending_jobs_size_max）
- jvm参数设置 -vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M
- mysql数据库参数innodb_buffer_pool_size和max_connections
- 参数CONTROL_FILE_RECORD_KEEP_TIME和MAXLOGHISOTRY
- jvm参数设置 -vmargs -Xms128M -Xmx512M -XX:PermSize=64M -XX:MaxPermSize=128M
- python 扩大spark.driver.maxResultSize参数
- oracle 10g 11g中的SGA_MAX_SIZE与SGA_TARGET参数
- Linux内核参数(如kernel.shmmax)及Oracle相关参数调整(如SGA_MAX_SIZE)