mkcephfs创建集群过程分析

摘要: mkcephfs -a -c /etc/ceph/ceph.conf

$0指的就是mkcephfs

1. 校验conf文件，并创建随机的临时目录：

dir = /tmp/mkcephfs.jYWWOaxaTa

2 .执行 ：$0 --prepare-monmap -d $dir -c $conf

1） 得到mon列表、mon的id以及mon的地址 ：

mons=`$CCONF -c $conf -l mon | egrep -v '^mon$' | sort`

id=`echo $name | cut -c 4- | sed 's/^\\.//'`

get_conf addr "" "mon addr"

那么args：args = --add 0 192.168.100.61:6789

2） 在$dir/monmap中创建monmap

$BINDIR/monmaptool --create --clobber $args --print $monmap || exit 1

在此之中，生成了fsid，并将 epoch 0 写入 /tmp/mkcephfs.jYWWOaxaTa/monmap

3） 复制ceph.conf文件：

cp $conf $dir/conf

至此，$0 --prepare-monmap -d $dir -c $conf 命令执行结束。

3. 只取出osd_list和mds_lilst组成name_list， 遍历name_llist并执行：

1）如果为远程主机，那么先调用scp推送conf 和monmap 到远程主机的临时目录 $host:$rdir：

rdir=`mktemp -u /tmp/mkfs.ceph.XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX`

2）do_root_cmd "$0 -d $rdir --init-daemon $name"

s1. 检查/var/run/ceph/$name.pid和/var/run/ceph/$name.asok，并创建相应的目录

s2 .如果$name的$type为osd，则：

$BINDIR/ceph-osd -c $conf --monmap $dir/monmap -i $id --mkfs --mkkey

get_conf osd_data "/var/lib/ceph/osd/ceph-$id" "osd data"

get_conf osd_keyring "$osd_data/keyring" "keyring"

$BINDIR/ceph-authtool -p -n $name $osd_keyring > $dir/key.$name

s3. 如果$type为mds，则：

get_conf mds_data "/var/lib/ceph/mds/ceph-$id" "mds data"

get_conf mds_keyring "$mds_data/keyring" "keyring"

test -d $mds_data || mkdir -p $mds_data

echo "creating private key for $name keyring $mds_keyring"

$BINDIR/ceph-authtool --create-keyring --gen-key -n $name $mds_keyring

$BINDIR/ceph-authtool -p -n $name $mds_keyring > $dir/key.$name

3) 如果带有--mkfs参数，那么同时格式化分区

do_root_cmd "$0 -d $rdir --prepare-osdfs $name"

4）如果为远程主机，从远程节点收集keys

scp -q $host:$rdir/key.$name $dir

4. 准备monitors,执行$0 -d $dir --prepare-mon $moreargs ：

此时，moreargs已经包含了更多参数：numosd osdmap crushmapsrc crushmap

1）如果useosdmap不为空，那么使用useosdmap：cp $useosdmap $dir/osdmap，否则根据conf文件创建通用的osdmap：

$BINDIR/osdmaptool --create-from-conf $dir/osdmap -c $conf

2) 得到crushmapsrc ：

get_conf crushmapsrc "" "crush map src" mon global

如果$crushmapsrc不为空，则根据crushmapsrc得到一个map文件，保存为$dir/crushmap：

$BINDIR/crushtool -c $crushmapsrc -o $dir/crushmap

3）得到crushmap：

get_conf crushmap "$usecrushmap" "crush map" mon global

如果$crushmap 不为空，则将$crushmap导入到$dir/crushmap：

$BINDIR/osdmaptool --import-crush $crushmap $dir/osdmap

4）产生admin keyring，保存到$dir/keyring.admin：

$BINDIR/ceph-authtool --create-keyring --gen-key -n client.admin $dir/keyring.admin

5）创建初始的monitor keyring：

s1. cp $dir/keyring.admin $dir/keyring.mon

s2. $BINDIR/ceph-authtool -n client.admin --set-uid=0 \

--cap mon 'allow *' \

--cap osd 'allow *' \

--cap mds 'allow' \

$dir/keyring.mon

s3. $BINDIR/ceph-authtool --gen-key -n mon. $dir/keyring.mon --cap mon 'allow *'

6) 遍历$dir/key.*：

如果ktype为osd：

$BINDIR/ceph-authtool -n $kname --add-key $secret $dir/keyring.mon \

--cap mon 'allow rwx' \

--cap osd 'allow *'

如果type为mds：

$BINDIR/ceph-authtool -n $kname --add-key $secret $dir/keyring.mon \

--cap mon "allow rwx" \

--cap osd 'allow *' \

--cap mds 'allow'

5.遍历mon_list，并执行：

1)推送配置文件

如果为远程主机，先推送本地的$dir/* 到$rdir ：

rdir=`mktemp -u /tmp/mkfs.ceph.XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX`

否则如果是本地主机，则cp $dir/conf /etc/ceph/ceph.conf

2)开始启动mon daemon：

do_root_cmd "$0 -d $rdir --init-daemon $name"

s1. 检查/var/run/ceph/$name.pid和/var/run/ceph/$name.asok，并创建相应的目录

s2.此时 $type为mon，则：

get_conf mon_data "/var/lib/ceph/mon/ceph-$id" "mon data"

mkdir -p "$mon_data"

$BINDIR/ceph-mon -c $conf --mkfs -i $id --monmap $dir/monmap --osdmap $dir/osdmap -k $dir/keyring.mon

6 .得到adminkerying：

get_conf adminkeyring "/etc/ceph/keyring" "keyring" global

cp $dir/keyring.admin $adminkeyring