(三)elasticsearch 5x 索引优化
2017-05-31 23:02
85 查看
elasticsearch 5x版本优化策略
常规优化:
elasticsearch.yml配置修改
1.bootstrap.memory_lock: true 设置该值使es不使用Swapping,可提高es性能
5x版本之前为bootstrap.mlockall: true
2.设置部分节点仅为数据节点,并关闭http功能
3.transport.tcp.compress: true 设置所有节点间的传输数据是经过压缩的。默认不压缩。
4.action.auto_create_index: false 防止自动创建索引
jvm.options配置修改
修改jvm使用的内存,建议为总内存的1/4到1/2,但是不要超过32g
-Xms31g
-Xmx31g
插入数据优化:
当需要大规模插入数据,而不考虑检索性能时
1.先将索引的分片数改为0,待插入结束后再调整为需要的值
2.减少shard刷新间隔,用于大规模bulk插入,插入结束后改为1s
curl -XPUT ip:9200/myindex/_settings -d'{
"index":{
"number_of_replicas": 0,
"refresh_interval" : "-1"
}
}'
3.关闭合并的阈值,插入结束后改为merge来恢复阈值
curl -XPUT ip:9200/_cluster/settings -d'{
"transient": {
"indices.store.throttle.type": "none"
}
}'
其他优化:
1.合并索引段,段数越少越好(不要在插入数据时候合并)
2.删除标记为删除的数据
curl -XPOST ip:9200/my_index/_forcemerge?
常规优化:
elasticsearch.yml配置修改
1.bootstrap.memory_lock: true 设置该值使es不使用Swapping,可提高es性能
5x版本之前为bootstrap.mlockall: true
2.设置部分节点仅为数据节点,并关闭http功能
#关闭master功能,使之仅成为数据节点 node.master: false node.data: true #数据节点关闭http功能 http.enabled: false
3.transport.tcp.compress: true 设置所有节点间的传输数据是经过压缩的。默认不压缩。
4.action.auto_create_index: false 防止自动创建索引
jvm.options配置修改
修改jvm使用的内存,建议为总内存的1/4到1/2,但是不要超过32g
-Xms31g
-Xmx31g
插入数据优化:
当需要大规模插入数据,而不考虑检索性能时
1.先将索引的分片数改为0,待插入结束后再调整为需要的值
2.减少shard刷新间隔,用于大规模bulk插入,插入结束后改为1s
curl -XPUT ip:9200/myindex/_settings -d'{
"index":{
"number_of_replicas": 0,
"refresh_interval" : "-1"
}
}'
3.关闭合并的阈值,插入结束后改为merge来恢复阈值
curl -XPUT ip:9200/_cluster/settings -d'{
"transient": {
"indices.store.throttle.type": "none"
}
}'
其他优化:
1.合并索引段,段数越少越好(不要在插入数据时候合并)
2.删除标记为删除的数据
curl -XPOST ip:9200/my_index/_forcemerge?
max_num_segments=1&
only_expunge_deletes=true
相关文章推荐
- ElasticSearch基础杂烩-配置-索引-优化
- Elasticsearch Java API 的使用(11)—优化索引创建
- Elasticsearch-索引优化篇1
- elasticsearch2.0对索引操作的一些优化
- 优化ElasticSearch之合理分配索引分片
- elasticsearch 索引搜索和索引性能优化配置——思路:去掉不必要的数据,减小数据的磁盘空间占用,同时提升性能
- 【ElasticSearch】ElasticSearch-索引优化-自定义索引
- ElasticSearch优化系列三:索引过程
- Heka–>Elasticsearch 索引数据过程的优化
- elasticsearch 索引优化
- <转>ElasticSearch优化系列六:索引过程
- 浅谈Solr和ElasticSearch建索引性能优化策略
- [Elasticsearch] 部分匹配 (四) - 索引期间优化ngrams及索引期间的即时搜索
- elasticsearch-索引性能优化技巧
- (一)elasticsearch 5x 索引创建,修改及模板使用
- ElasticSearch基础杂烩-配置-索引-优化
- 浅谈Solr和ElasticSearch建索引性能优化策略
- 优化ElasticSearch之合理分配索引分片
- ElasticSearch基础杂烩-配置-索引-优化
- ElasticSearch索引优化