Docker -- 分布式处理与大数据平台-Elasticsearch
Elasticsearch
Elasticsearch 是基于Lucene 的开源搜索服务(Java 实现)。它是分布式、多租户的全文搜索引擎,支持RESTful Web接口。Elasticsearch 支持实时分布式数据存储和分析查询功能,可以轻松扩展到上百台服务器,同时支持处理PB级结构化或非结构化数据。如果配合Logstas、Kibana等组件,可以快速构建一套日志消息分析平台。
1 使用官方镜像
$ docker run -d elasticsearch # 也可以在启动时传入一些额外的配置参数 $ docker run -d elasticsearch elasticsearch -Des.node.name="TestNode"
目前使用的镜像内含默认配置文件,包含预先定义好的默认配置。如果要使用自定义配置,可以使用数据卷,挂载自定义配置文件至/usr/share/elasticsearch/config:
$ docker run -d -v "$PWD/config":/usr/share/elasticsearch/config elasticsearch # 如果需要数据持久化,可以使用数据卷指令,挂载至/usr/share/elasticsearch/data: $ docker run -d -v "$PWD/esdata":/usr/share/elasticsearch/data elasticsearch
此镜像会暴露9200和9300两个默认的HTTP端口,可以通过此端口进行服务访问。9200端口是对外提供服务的API使用的端口,9300端口是内部通信端口,这些通信包括心跳、集群内部信息同步。
如果通过docker stack deploy 或docker-compose 使用Elasticsearch,则可以参考以下stack.yml:
version: '3.1' services: elasticsearch: image: elasticsearch kibana: image: kibana ports: - 5601:5601
运行docker stack deploy -c stack.yml elasticsearch 或 docker-compose -f stack.yml up,等待初始化完成后,直接访问http://swarm-ip:5601、http://localhost:5601 或 http://host-ip:5601。
2 相关资源
Elasticsearch的相关资源如下:
Elasticsearch 官网:https://www.elastic.co/products/elasticsearch/
Elasticsearch 官方仓库:https://github.com/elastic/elasticsearch
Elasticsearch 官方镜像:https://hub.docker.com/_/elasticsearch/
Elasticsearch 官方镜像仓库:https://www.docker.elastic.co/
- Docker实战(十)之分布式处理与大数据平台
- 分布式处理与大数据平台(RabbitMQ&Celery&Hadoop&Spark&Storm&Elasticsearch)
- 【大数据平台技术】—— 使用Docker搭建Hadoop分布式集群 —— 酱懵静
- J2ME平台A-RPG游戏地图数据处理
- 分布式实时日志处理平台ELK
- 大数据处理平台Hadoop之安装(基于ubuntu的Hadoop2.9.0,2.X.X同适用)
- 读书笔记:大数据平台-流处理架构
- 使用ElasticSearch,Kibana,ASP.NET Core和Docker可视化数据
- #读书笔记#大数据·互联网大规模数据挖掘与分布式处理 第二章
- 大数据平台Hadoop的分布式集群环境搭建
- 基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析
- Yahoo!的分布式数据平台PNUTS简介及感悟
- 一共81个,开源大数据处理工具汇总:查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘=监控
- 大数据:通过Mesos、Docker和Go,使用300行代码创建一个分布式系统
- 360数据处理平台的架构演进及优化实践
- J2ME平台A-RPG游戏地图数据处理
- 关系型数据的分布式处理系统MyCAT
- 不用分布式方式,处理大量数据的问题
- 大数据平台安装测试(2)centos7.1 docker zookeeper安装
- Linux平台php命令行程序处理管道数据的方法