浅谈Solr和ElasticSearch建索引性能优化策略

 

由于Solr和ElasticSearch都是基于Lucene构建的，所以他们之间有很大程度的相似性，故而他们的一些优化策略基本也是通用的，面对越来越多的海量数据，如何优化全量索引的写入性能呢？ 散仙简单总结了下面几个方向的优化策略，如有疑问，欢迎拍砖。 

（一）硬件优化： 

（1）CPU加大，有利于并发写入 

（2）内存提升，加大写入缓冲 

（3）磁盘IO，使用SSD或者IO读写更快的磁盘 

（4）网络IO，保证客户端与服务端的通信带宽充足 

（二）服务端框架优化： 

（1）加大shard的数目，理论上shard越多，写入速度越快 

（2）设置较大的索引flush触发条件，ramBufferSizeMB 或者 maxBufferedDocs 

（3）写索引时，关闭副本，因为同步索引会大大降低写入速度 

（4）监控GC，调整JVM参数 

如果Full GC频繁，加大JVM堆内存， 

如果Yong GC频繁，加大新生代的比例，如果使用的是CMS垃圾收集器，必要时，可以关闭survive区，避免survive区和Eden区来回拷贝 

（5）尽量使用稳定的新版本如JDK和框架本身 

（6）内存大的，可以尝试G1垃圾收集器 

（三） 客户端优化 

（1）如果公司有大数据部门，可以使用Hadoop或者Spark分布式集群构建索引 

（2）如果公司没有大数据产品，可以使用多线程或者多进程并行构建索引 

（3）使用批量提交 

（4）减少commit次数，让服务端控制flush索引，索引完成之后，可手动commit一次。 

有什么问题可以扫码关注微信公众号：我是攻城师(woshigcs)，在后台留言咨询。 

技术债不能欠，健康债更不能欠， 求道之路，我们同行。