ElasticSearch17:图解剖析document路由原理
2017-12-29 13:42
537 查看
1.document路由到shard上,是什么意思?
2.路由算法
shard = hash(routing) % number_of_primary_shard
例如:一个index有3个 primary shard,p0,p1,p2
每次增删改查一个document的时候,都会带过来一个routing number,默认就是这document的_id(可能是手动指定,也可能是自动生成)
routing = _id
会将这个routing值,传入一个hash函数中,产出一个routng值的hash值,比如:hash(routing)的结果=21
然后将hash函数产出的结果对这个index的primary shard的数量的余数,21%3 = 0
这样,就决定将document路由到p0上。
总结:
决定一个document在哪个shard上,最重要的一个值就是routing值,默认是_id,也可以手动指定。相同的routing值,每次传递过来,hash后的值都是一样的。
无论哪个document,hash值取余number_of_primary_shard的结果范围在0~(number_of_primary_shard-1)。
3._id or custom routing value
默认的routing值是_id.
也可以在发送请求的时候,手动指定一个routing value。比如说 put /index/type/id?routing=user_id
手动指定routing是很有用的,可以保证说,某一类document一定路由到一个shard上去,那么在后需进行应用级别的负载均衡,以及提升批量读取的性能的时候,是很有帮助的。
4.primary shard数量不可变的秘密
primary shard一旦建立,不能修改。而replica shard的数量则是可以修改的。
这是因为路由算法和replica shard无关
我们知道,一个index的数据会分成多片, 每片都在一个shard中,所以,一个document 只能存在于一个shard中。 当客户端创建document的时候,es此时就需要决定, 这个document是放在这个index的哪个个shard中。 这个过程称之为document routing,数据路由
2.路由算法
shard = hash(routing) % number_of_primary_shard
例如:一个index有3个 primary shard,p0,p1,p2
每次增删改查一个document的时候,都会带过来一个routing number,默认就是这document的_id(可能是手动指定,也可能是自动生成)
routing = _id
会将这个routing值,传入一个hash函数中,产出一个routng值的hash值,比如:hash(routing)的结果=21
然后将hash函数产出的结果对这个index的primary shard的数量的余数,21%3 = 0
这样,就决定将document路由到p0上。
总结:
决定一个document在哪个shard上,最重要的一个值就是routing值,默认是_id,也可以手动指定。相同的routing值,每次传递过来,hash后的值都是一样的。
无论哪个document,hash值取余number_of_primary_shard的结果范围在0~(number_of_primary_shard-1)。
3._id or custom routing value
默认的routing值是_id.
也可以在发送请求的时候,手动指定一个routing value。比如说 put /index/type/id?routing=user_id
手动指定routing是很有用的,可以保证说,某一类document一定路由到一个shard上去,那么在后需进行应用级别的负载均衡,以及提升批量读取的性能的时候,是很有帮助的。
4.primary shard数量不可变的秘密
primary shard一旦建立,不能修改。而replica shard的数量则是可以修改的。
这是因为路由算法和replica shard无关
相关文章推荐
- elasticsearch核心知识--25.剖析document数据路由原理和document增删改内部原理
- elasticsearch核心知识---53.图解剖析document写入原理以及Segement的合并
- ElasticSearch56:内核原理探秘_深度图解剖析document写入原始(buffer,segment,commit)
- ElasticSearch20:document内部查询原理图解
- elasticsearch核心知识--14.初步解析document的核心元数据以及图解剖析index创建反例
- elasticsearch核心知识--27._document查询内部原理图解
- ElasticSearch18:图解document增删改内部原理
- 第九篇 elasticsearch的document数据路由原理
- 第十篇 elasticsearch的写一致性原理以及quorum机制深入剖析
- ElasticSearch19:一致性原理以及quorum机制深入剖析
- Elasticsearch学习之深入搜索二 --- 搜索底层原理剖析
- elasticsearch核心知识--20.图解partial update实现原理以及retry_on_conflict
- ElasticSearch的filter原理深度剖析
- 网关,路由,局域网内的通信及不同的网络间通信实现的原理剖析
- elasticsearch核心知识--17.剖析Elasticsearch并发冲突问题和深度图解剖析悲观锁与乐观锁两种并发控制方案
- [ElasticSearch]原理之分布式文档存储(Distributed Document Store)
- 016,elasticsearch--[L18]--深度图解剖析Elasticsearch并发冲突问题
- 网关,路由,局域网内的通信及不同的网络间通信实现的原理剖析
- 015,elasticsearch--[L17]--document的全量替换、强制创建以及图解lazy delete机制
- 剖析Asp.Net路由系统实现原理