使用多线程压缩提高全量索引切换速度
2014-03-30 00:40
176 查看
目前全量索引约22G,花费约1个小时的时间,indexer做完之后放在ftp,searcher同时下载,下载完成之后切换索引,切换索引本身只花费1分钟左右的warmup时间,但下载由于机房带宽总共250M的限制(12台searcher),需要大约20分钟的时间。使用gzip对索引压缩就要花费22分钟时间,而使用ftp z mode压缩,本身也是调用单线程zlib,不会比22分钟更快。看到一个smp时代的压缩工具--pigz(http://www.zlib.net/pigz),感觉比较靠谱,可以看到20个线程,大约2-3分钟就完成压缩,searcher端单线程下载,解压就可以满足要求了。
相关文章推荐
- setContentView+LayoutInflater=完美切换页面(两者一定要同时使用,setContentView提高切换页面速度必看)setContentView的秘密----续上
- setContentView+LayoutInflater=完美切换页面(两者一定要同时使用,setContentView提高切换页面速度必看)setContentView的秘密----续上
- setContentView+LayoutInflater=完美切换页面(两者一定要同时使用,setContentView提高切换页面速度必看)setContentView的秘密----续上
- mysql在数据库表中,使用索引可以大大提高查询速度
- BLOB或TEXT字段使用散列值和前缀索引优化提高查询速度
- QT5.7静态编译(使用VS2013与VS2015编译,XP可用,有详细configure脚本。VS下Qt插件的配置。编译选项加上-mp可以开启多线程编译,编译速度提高2倍以上)
- android 数据库查询中使用索引-大幅提高数据库操作速度
- BLOB或TEXT字段使用散列值和前缀索引优化提高查询速度
- 如何使用索引提高查询速度
- 【转】使用索引为什么能提高查询速度?
- 如何使用索引提高查询速度
- 使用索引提高查询速度
- nginx 使用gizp压缩提高网站的传输速度
- 让gzip压缩速度加快的解决方案:使用支持多核CPU多线程并发压缩的pigz
- 如何使用索引提高查询速度
- 使用Elasticsearch建索引提高HBase检索速度的探索
- 如何使用索引提高查询速度
- 使用多线程提高代码运行速度
- 在web项目中使用gzip压缩方式提高速度的东东
- 使用索引提高查询速度