Elasticsearch下实现索引迁移的几种方式。
2018-01-11 16:48
816 查看
版权声明:本文为博主原创文章,未经博主允许不得转载。转载请务必加上原作者:铭毅天下,原博客地址:http://blog.csdn.net/laoyang360
将ES中的索引拷贝到其他ES中,或者将ES整体迁移,研究发现有两个开源的工具:elaticserch-dump和 Elasticsearch-Exporter。
除此之外,logstash在索引同步、迁移方面的作用也很大。
两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下:
Tools for moving and saving indicies. 从来移动和保存索引的工具。
https://github.com/taskrabbit/elasticsearch-dump
2
3
4
5
安装后如下所示:
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
2
3
4
5
6
7
8
9
10
11
12
13
14
15
源ES版本1.6.0,目标ES版本:2.3.4,验证发现:analyzer和mapping可以拷贝成功。
但是,data拷贝不成功。目标机器ES中不能显示出数据。根本原因没有排查到。
https://github.com/mallocator/Elasticsearch-Exporter
A small script to export data from one Elasticsearch cluster into another. 将ES中的数据向其他导出的简单脚本实现。
http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/
centos用 yum 方式安装 nodejs 和 npm
2
3
安装后:
2
3
4
5
6
7
8
9
10
11
即可实现跨机器索引的迁移。
更多的参数可以查看node exporter.js –help
2
3
4
5
6
7
8
9
10
11
2
3
4
5
6
代表同步成功。
源ES版本1.6.0,目标ES版本:2.3.4,
验证发现:可以使用 Elasticsearch-Exporter跨机器、跨ES版本同步索引成功。
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
4、小结
对比发现, Elasticsearch-Exporter在索引迁移方面相对更好用。(待深入研究补充)
而logstash定向索引用于辅助解决 Elasticsearch-Exporter不同版本迁移有Bug的情形。
参考:
[1]http://blog.csdn.net/u014587343/article/details/50541494
[2]http://stackoverflow.com/questions/26547560/how-to-move-elasticsearch-data-from-one-server-to-another
——————————————————————————————————
更多ES相关实战干货经验分享,请扫描下方【铭毅天下】微信公众号二维码关注。
(每周至少更新一篇!)
和你一起,死磕Elasticsearch!
——————————————————————————————————
2017年3月23日 21:20 思于家中床前
作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/65449407
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢
!
引言
将ES中的索引拷贝到其他ES中,或者将ES整体迁移,研究发现有两个开源的工具:elaticserch-dump和 Elasticsearch-Exporter。 除此之外,logstash在索引同步、迁移方面的作用也很大。
两工具及logstash实现迁移的介绍、安装、使用、验证效果等展示如下:
1、elasticsearch-dump迁移
1.1 elasticsearch-dump简介
Tools for moving and saving indicies. 从来移动和保存索引的工具。 https://github.com/taskrabbit/elasticsearch-dump
1.2 elasticsearch-dump安装
1) yum install epel-release 2) yum install nodejs 3) yum install npm 4) npm install elasticdump 5) cd node_modules/elasticdump/bin 后便可以执行操作。1
2
3
4
5
安装后如下所示:
[root@N3 elasticdump]# pwd /home/tp/node_modules/elasticdump [root@N3 elasticdump]# ls -al total 388 drwxr-xr-x 2 root root 4096 Mar 21 15:46 bin -rw-r--r-- 1 root root 174 Mar 18 2016 Dockerfile -rw-r--r-- 1 root root 299251 Mar 15 2014 elasticdump.jpg -rw-r--r-- 1 root root 6172 Feb 2 23:47 elasticdump.js drwxr-xr-x 2 root root 4096 Jul 13 2016 .github drwxr-xr-x 3 root root 4096 Mar 21 15:46 lib -rw-r--r-- 1 root root 11356 May 22 2014 LICENSE.txt drwxr-xr-x 10 root root 4096 Mar 21 15:46 node_modules -rw-r--r-- 1 root root 44 May 22 2014 .npmignore -rw-r--r-- 1 root root 15135 Mar 21 15:46 package.json -rw-r--r-- 1 root root 13335 Dec 14 06:20 README.md drwxr-xr-x 3 root root 4096 Mar 21 15:46 test -rw-r--r-- 1 root root 1150 Dec 2 07:54 .travis.yml1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
1.3 elasticsearch-dump 使用
'#拷贝analyzer如分词 elasticdump \ --input=http://production.es.com:9200/my_index \ --output=http://staging.es.com:9200/my_index \ --type=analyzer '#拷贝映射 elasticdump \ --input=http://production.es.com:9200/my_index \ --output=http://staging.es.com:9200/my_index \ --type=mapping '#拷贝数据 elasticdump \ --input=http://production.es.com:9200/my_index \ --output=http://staging.es.com:9200/my_index \ --type=data1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
1.4 elasticsearch-dump实战小结
源ES版本1.6.0,目标ES版本:2.3.4,验证发现:analyzer和mapping可以拷贝成功。 但是,data拷贝不成功。目标机器ES中不能显示出数据。根本原因没有排查到。
2、 Elasticsearch-Exporter迁移
2.1 Elasticsearch-Exporter简介
https://github.com/mallocator/Elasticsearch-Exporter A small script to export data from one Elasticsearch cluster into another. 将ES中的数据向其他导出的简单脚本实现。
2.2、Elasticsearch-Exporter安装
http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/ centos用 yum 方式安装 nodejs 和 npm
npm install nomnom npm install colors npm install elasticsearch-exporter --production1
2
3
安装后:
[root@N3 elasticsearch-exporter]# ll -ls total 80 4 drwxr-xr-x 2 root root 4096 Mar 21 22:01 drivers 12 -rw-r--r-- 1 root root 11523 Sep 19 2014 exporter.js 12 -rw-r--r-- 1 root root 11324 Mar 16 2014 LICENSE 4 drwxr-xr-x 4 root root 4096 Mar 21 22:01 node_modules 12 -rw-r--r-- 1 root root 11259 Sep 19 2014 options.js 16 -rw-r--r-- 1 root root 14500 Mar 21 22:01 package.json 16 -rw-r--r-- 1 root root 12645 Sep 19 2014 README.md 4 drwxr-xr-x 2 root root 4096 Apr 25 2014 tools1
2
3
4
5
6
7
8
9
10
11
2.3、 Elasticsearch-Exporter使用
node exporter.js -a <source hostname> -b <target hostname> -p <s port> -q <t port> -i <s index> -j <t index>1
即可实现跨机器索引的迁移。
更多的参数可以查看node exporter.js –help
[root@N3 elasticsearch-exporter]# node exporter.js --help Elasticsearch Exporter - Version 1.4.0 Usage: exporter [options] Options: -a <hostname>, --sourceHost <hostname> 迁移源机器地址 -b <hostname>, --targetHost <hostname> 迁移目的机器地址(如果没有设置索引,目的地址需要有别于源地址) -p <port>, --sourcePort <port> 源机器的ES的端口,9200(一般) -q <port>, --targetPort <port> 目标机器的ES的端口,9200(一般) -i <index>, --sourceIndex <index> 源ES待导出的索引,如果该值不设定,整个的数据库都会导出。 -j <index>, --targetIndex <index>目标机器ES的索引,如果源索引设定,该值必须填写。1
2
3
4
5
6
7
8
9
10
11
2.4、 Elasticsearch-Exporter 索引迁移实战(验证ok)
[root@No3 elasticsearch-exporter]# node exporter.js -a 10.221.110.31-b 100.0.1.130 -p 9200 -q 9200 -i awppx -j awppx 同步最后会显示: Number of calls: 169 Fetched Entries: 8064 documents Processed Entries: 8064 documents Source DB Size: 8064 documents1
2
3
4
5
6
代表同步成功。
源ES版本1.6.0,目标ES版本:2.3.4,
验证发现:可以使用 Elasticsearch-Exporter跨机器、跨ES版本同步索引成功。
3、logstash定向索引迁移
[root@N3 bin]# cat ./logstash_output_mongo/logstash_es22es.conf input { elasticsearch { hosts => [ "100.200.10.54:9200" ] index => "doc" size => 1000 scroll => "5m" docinfo => true scan => true } } filter { json { source => "message" remove_field => ["message"] } mutate { # rename field from 'name' to 'browser_name' rename => { "_id" => "wid" } } } output { elasticsearch { hosts => [ "100.20.32.45:9200" ] document_type => "docxinfo" index => "docx" } stdout { codec => "dots" } }1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
4、小结
对比发现, Elasticsearch-Exporter在索引迁移方面相对更好用。(待深入研究补充)
而logstash定向索引用于辅助解决 Elasticsearch-Exporter不同版本迁移有Bug的情形。
参考:
[1]http://blog.csdn.net/u014587343/article/details/50541494
[2]http://stackoverflow.com/questions/26547560/how-to-move-elasticsearch-data-from-one-server-to-another
——————————————————————————————————
更多ES相关实战干货经验分享,请扫描下方【铭毅天下】微信公众号二维码关注。
(每周至少更新一篇!)
和你一起,死磕Elasticsearch!
——————————————————————————————————
2017年3月23日 21:20 思于家中床前
作者:铭毅天下
转载请标明出处,原文地址:
http://blog.csdn.net/laoyang360/article/details/65449407
如果感觉本文对您有帮助,请点击‘顶’支持一下,您的支持是我坚持写作最大的动力,谢谢
!
相关文章推荐
- Elasticsearch索引迁移的三种方式
- Elasticsearch索引迁移的三种方式
- Elasticsearch索引迁移的四种方式
- Elasticsearch索引迁移的三种方式
- 单例模式的几种实现方式
- 安卓中发短信的几种方式总结和实现
- 不同数据源之间数据同步的几种实现方式
- innodb和myisam引擎 ——索引实现方式差异
- 网站申请不到支付宝接口、微信接口,免接口收款实现方式几种解决办法
- JS实现继承的几种方式
- Javascript实现页面跳转的几种方式
- Android 文本滚动效果的几种实现方式(一)
- Android菜单栏的几种实现方式
- MySQL的索引的实现方式以及Btree索引和hash索引的区别
- 分布式锁的几种实现方式
- 辛星与您解读PHP页面跳转的几种实现方式
- Elasticsearch 查询in 和 not in 的实现方式
- Tooltip 实现的几种方式
- HTML中空格键的几种实现方式(Markdown可用)
- lua模块的几种实现方式