ceph配置中的osd_crush_update_on_start如何在osd重启时影响osd在crush中分布
2017-11-17 11:02
1501 查看
在自定义crush map的时候,发现掉电的osd,通过service ceph-osd@{osd.id} start重启后 osd回到了默认的host节点下,而不是自己定制后的节点,通过跟踪实现,发现了问题:
osdceph集群的默认配置
下图为我们测试环境中的osd tree,这是我们自己定制的一个osdmap,当然我们希望在osd掉线重启或者主机异常断点重启后所有的osd都能回到他应该在的位置上,但在我们使用ceph-deploy去搭建一个集群的时候这个想法并不能如我们所愿
下面我们停止一个osd,osd.5
接下来我们将这个osd.5重启,再看看osd.5的位置,这时候他回到了osd所在主机的主机名下的原默认位置
我们知道,我们的系统重启后linux都会通过系统服务管理模块来启动我们的服务,下面我们来尝试从linux的系统服务管理--service(systemctl)来找到我们osd重启后加入到主机的hostname位置的原因:
首先我们找到ceph-osd的service配置文件
注意上图中红框中的内容,这个配置决定了osd在启动之前会执行什么样的操作,我们手动的执行试试,现在我们先把osd.5放入到正确的位置:
然后手动执行:/usr/lib/ceph/ceph-osd-prestart.sh --cluster=ceph --id 5
看下图效果:
我们可以发现,osd.5的位置又回到了他的默认位置,我们从官网的手册可以看出,如果我们需要自己管理crush location我们需要设置osd crush update on start = false ,不然的话---“Ceph automatically sets aceph-osd
daemon’s location to be root=default host=HOSTNAME (based on the output from
hostname -s)”
http://docs.ceph.com/docs/master/rados/operations/crush-map/#crush-location
我们将此设置放入配置文件
我们将osd.5放到正确位置后,在做尝试:
我们看到配置了osd crush update on start = false,osd的重启确实能够回到他该回的位置。
现在我们来看看ceph怎么实现读取这个配置的,我们查看/usr/lib/ceph/ceph-osd-prestart.sh的实现
我们上图看到脚本是通过ceph-conf去获取osd crush update on start在ceph.conf文件中的配置;如果配置是true,那么则会调用/usr/bin/ceph-crush-location命令获取osd的位置
而ceph-crush-location命令又回调用ceph-conf去到ceph-conf中去寻找crush_location/osd_crush_location字段的值,在没有找到的情况下默认返回"host=$(hostname -s) root=default"导致了我们osd回到了默认位置而不是正确位置。
那么,我们解决这个问题有两种:
1.ceph.conf中加入osd crush update on start = false
2.根据官网设置自定义位置挂钩
osdceph集群的默认配置
下图为我们测试环境中的osd tree,这是我们自己定制的一个osdmap,当然我们希望在osd掉线重启或者主机异常断点重启后所有的osd都能回到他应该在的位置上,但在我们使用ceph-deploy去搭建一个集群的时候这个想法并不能如我们所愿
下面我们停止一个osd,osd.5
接下来我们将这个osd.5重启,再看看osd.5的位置,这时候他回到了osd所在主机的主机名下的原默认位置
我们知道,我们的系统重启后linux都会通过系统服务管理模块来启动我们的服务,下面我们来尝试从linux的系统服务管理--service(systemctl)来找到我们osd重启后加入到主机的hostname位置的原因:
首先我们找到ceph-osd的service配置文件
注意上图中红框中的内容,这个配置决定了osd在启动之前会执行什么样的操作,我们手动的执行试试,现在我们先把osd.5放入到正确的位置:
然后手动执行:/usr/lib/ceph/ceph-osd-prestart.sh --cluster=ceph --id 5
看下图效果:
我们可以发现,osd.5的位置又回到了他的默认位置,我们从官网的手册可以看出,如果我们需要自己管理crush location我们需要设置osd crush update on start = false ,不然的话---“Ceph automatically sets aceph-osd
daemon’s location to be root=default host=HOSTNAME (based on the output from
hostname -s)”
http://docs.ceph.com/docs/master/rados/operations/crush-map/#crush-location
我们将此设置放入配置文件
我们将osd.5放到正确位置后,在做尝试:
我们看到配置了osd crush update on start = false,osd的重启确实能够回到他该回的位置。
现在我们来看看ceph怎么实现读取这个配置的,我们查看/usr/lib/ceph/ceph-osd-prestart.sh的实现
我们上图看到脚本是通过ceph-conf去获取osd crush update on start在ceph.conf文件中的配置;如果配置是true,那么则会调用/usr/bin/ceph-crush-location命令获取osd的位置
而ceph-crush-location命令又回调用ceph-conf去到ceph-conf中去寻找crush_location/osd_crush_location字段的值,在没有找到的情况下默认返回"host=$(hostname -s) root=default"导致了我们osd回到了默认位置而不是正确位置。
那么,我们解决这个问题有两种:
1.ceph.conf中加入osd crush update on start = false
2.根据官网设置自定义位置挂钩
相关文章推荐
- Ceph-智能分布CRUSH之Object与PG与OSD
- Ceph-智能分布CRUSH之Object与PG与OSD
- java应用(非web应用)中log4j.properties动态修改配置文件,无需重启,就能立即生效,如何实现?
- Jenkins的配置从节点中默认没有Launch agent via Java Web Start,该如何配置使用
- 重启osd服务失败:Start request repeated too quickly
- MyEclipse和tomcat如何配置让修改了Java代码后不用重启服务器
- 【转载】ceph中的CRUSH数据分布算法介绍
- J2EE搭建之十一 如何设置start-on-load
- ceph的CRUSH数据分布算法介绍
- 如何配置Kickstart脚本以便更好的安装系统
- 如何在 CentOS 7.0 上配置 Ceph 存储
- linux错误配置之后如何强制重启
- 禁用脚本仅仅是禁用了awake(),start(),update(),fixedupdate(),ongui()五个函数,其它的还是有效的
- Java Servlet【3】<load-on-startup>的配置、ServletConfig对象如何提起信息
- 配置IIS--通过多台设备之间建立局域网--测试Application_onStart事件计算当前网站程序在线人数
- 重启osd服务失败:Start request repeated too quickly
- NOCOUNT如何影响ADO.NET(SET NOCOUNT ON的性能问题)
- okhttp3相关封装配置(三):Callback封装,添加onStart()和onFinish()回调方法
- ceph-磁盘名变化导致osd重启失败
- servlet的load-on-start配置