手把手教您完成Elasticsearch数据迁移
2020-06-30 20:32
148 查看
您可以通过Logstash、reindex和OSS等多种方式在Elasticsearch之间迁移数据。本文以阿里云Elasticsearch(简称ES)为例,介绍阿里云Elasticsearch间数据迁移、自建ES数据迁移至阿里云ES和第三方ES迁移至阿里云ES的方案,帮助您根据业务选择合适的场景进行迁移。
单击此处免费试用阿里云Elasticsearch。
阿里云ES实例间数据迁移
OSS快照
适用场景-
源端数据量较大(GB、TB、PB级别)的场景。
-
同账号下,同区域或跨区域快照数据迁移的场景。
对于同账号跨区域的数据迁移场景,需使用快照备份与恢复命令迁移数据。
- 设置跨集群OSS仓库(迁移自动快照备份的数据)
- 快照备份与恢复命令(迁移手动快照备份的数据)
Logstash
单击此处免费试用阿里云Logstash。
适用场景-
迁移全量或同步增量数据,对实时性要求不高的场景。
如果需要同步增量数据,需确保源端数据的ID和目标端ID一致,并且需配置schedule定时任务。
-
仅对查询结果进行迁移的场景。
-
需对待迁移数据进行过滤的场景。
-
版本跨度较大的数据迁移场景,例如5.x迁移到6.x或7.x。版本兼容性说明请参见产品兼容性。
reindex
适用场景- 源端数据量较小,且对迁移速度要求不高的场景。
- 仅对查询结果进行迁移的场景。
自建ES迁移至阿里云ES
OSS快照
适用场景- 源端数据量较大(GB、TB、PB级别)的场景。
- 同账号下,同区域或跨区域快照数据迁移的场景。
Logstash
单击此处免费试用阿里云Logstash。
适用场景-
迁移全量或同步增量数据,对实时性要求不高的场景。
如果需要同步增量数据,需确保源端数据的ID和目标端ID一致,并且需配置schedule定时任务。
-
仅对查询结果进行迁移的场景。
-
需对待迁移数据进行过滤的场景。
-
版本跨度较大的数据迁移场景,例如5.x迁移到6.x或7.x。版本兼容性说明请参见产品兼容性。
reindex
适用场景- 源端数据量较小,且对迁移速度要求不高的场景。
- 仅对查询结果进行迁移的场景。
第三方ES迁移至阿里云ES
Logstash
单击此处免费试用阿里云Logstash。
适用场景- 迁移全量数据的场景。
- 迁移满足某些查询需求的场景。
OSS快照
适用场景源端数据量较大(GB、TB、PB级别)的场景。
相关文档相关文章推荐
- 利用elasticsearch dump插件完成数据迁移
- 完成端口详解 - 手把手教你玩转网络编程系列之三
- 手把手教你玩转SOCKET模型:完成端口(Completion Port)详解
- 手把手教你玩转网络编程模型之完成例程(Completion Routine)篇(下)-转
- ElasticSearch 5 数据迁移
- 完成端口详解 - 手把手教你玩转网络编程系列之三
- 完成端口(CompletionPort)详解 - 手把手教你玩转网络编程系列之三
- 完成端口(CompletionPort)详解 - 手把手教你玩转网络编程系列之三 1-转
- Elasticsearch自定义脚本完成性能测试
- 【打分策略】Elasticsearch打分策略详解与explain手把手计算
- 完成端口(CompletionPort)详解 - 手把手教你玩转网络编程系列之三
- 手把手教你用stata完成实证分析
- 利用eclipse在内网环境完成 springboot和elasticsearch的整合(包括环境的搭建)的完整流程
- 手把手教你用JSP完成登录注册插入数据库数据
- 手把手带你自制Linux系统之六 编译内核及busybox完成系统定制
- 完成端口(CompletionPort)详解 - 手把手教你玩转网络编程系列之三2-转
- 手把手教你完成App支付JAVA后台-支付宝支付JAVA
- 使用Kettle来完成数据迁移
- [置顶] 手把手教你玩转SOCKET模型:完成端口(Completion Port)详解
- 手把手教你搭建PHP版Elasticsearch开发环境