Centos6.5下一个Ceph存储集群结构

简单的介绍

Ceph的部署模式下主要包括下面几个类型的节点

• Ceph OSDs: A Ceph OSD 进程主要用来存储数据，处理数据的replication,恢复，填充。调整资源组合以及通过检查其它OSD进程的心跳信息提供一些监控信息给Ceph Monitors . 当Ceph Storage Cluster 要准备2份数据备份时，要求至少有2个Ceph OSD进程的状态是active+clean状态 (Ceph 默认会提供两份数据备份).

• Monitors: Ceph Monitor 维护了集群map的状态，主要包含monitor map, OSD map, Placement Group (PG) map, 以及CRUSH map. Ceph 维护了 Ceph Monitors, Ceph OSD Daemons, 以及PGs状态变化的历史记录 (called an “epoch”).

• MDSs: Ceph Metadata Server (MDS)存储的元数据代表Ceph的文件系统 (i.e., Ceph Block Devices 以及Ceph Object Storage 不适用 MDS). Ceph Metadata Servers 让系统用户能够运行一些POSIX文件系统的基本命令，比如ls,find 等.

硬件的选择

CPU

Ceph metadata server会动态的又一次分配负载，它是CPU敏感性的，所以Metadata Server应该有比較好的处理器性能 (比方四核CPU).
Ceph OSDs执行RADOS服务，须要通过CRUSH来计算数据的存放位置，replicate数据，以及维护Cluster Map的拷贝。因此OSD也须要合适的处理性能
Ceph Monitors 简单的维护了Cluster Map的主干信息所以这个是CPU不敏感的.

RAM

Metadata servers 以及Monitors 必须可以高速的提供数据。因此必须有充足的内存(e.g., 1GB of RAM per daemon instance).
OSDs 在运行正常的操作时不须要过多的内存 (e.g., 500MB of RAM per daemon instance);可是 运行恢复操作时，就须要大量的内存(e.g., ~1GB per 1TB of storage per daemon). Generally, 并且是越多越好.

Data Storage

规划数据存储时要考虑成本和性能的权衡。同一时候OS操作。同一时候多个后台程序对单个驱动器进行读写操作会显着减少性能。

也有文件系统的限制考虑：BTRFS对于生产环境来说不是非常稳定。但有能力记录journal和并行的写入数据，而XFS和EXT4会好一点。

Networks

我们建议每一个主机至少有两个1Gbps的网络接口控制器（NIC）。因为大多数硬盘驱动器的吞吐量大约为100MB/秒，你的网卡应该可以处理OSD主机上磁盘的流量。

我们建议至少两个NIC一个作为公共的网络和一个作为集群的网络。
集群网络（最好是未连接到互联网）处理数据replication，并帮助阻止拒绝服务攻击（阻止active+clean状态的PG跨集群复制数据）。考虑開始在你的机架中使用10Gbps网络。通过1Gbps的网络复制1TB的数据须要3个小时，3TBs（一个典型的驱动器配置）须要9个小时。相比之下，具有10Gbps的网络中，复制时间就分别为20分钟至1小时。

部署

部署主要在四个节点上进行

IP	hostname	描写叙述
192.168.40.106	dataprovider	部署管理节点
192.168.40.107	mdsnode	MDS。MON节点
192.168.40.108	osdnode1	OSD节点
192.168.40.148	osdnode2	OSD节点

Ceph 部署节点

编辑repo文件

安装ceph-deploy

编辑/etc/hosts

#127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

127.0.0.1   dataprovider

192.168.40.107   mdsnode

192.168.40.108   osdnode1

192.168.40.148   osdnode2

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

Ceph Node Setup

yum install -y ntp ntpdate ntp-doc
yum install -y openssh-server

创建专用的用户

sudo useradd -d /home/leadorceph -m leadorceph

sudo passwd leadorceph

在每一个Ceph节点中为用户添加 root 权限

Enable Password-less SSH

ssh-copy-id leadorceph@mdsnode
ssh-copy-id leadorceph@osdnode1
ssh-copy-id leadorceph@osdnode2

存储集群

创建集群

mkdir my-cluster
cd my-cluster

部署失败

假设部署失败了能够用以下的命令恢复

假设要是整个环境又一次安装的话，dataprovider也要进行purge操作
ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
假设删除的是osd节点。还须要删除osd的数据文件夹。然后再又一次创建相应的文件夹

创建一个集群

改动默认的副本数为2

開始安装

创建 Ceph MON 集群监视器

ceph-deploy mon create-initial

ceph-deploy mon create mdsnode

ceph-deploy gatherkeys mdsnode

创建OSD节点

ssh osdnode1

sudo mkdir /var/local/osd0

exit

ssh osdnode2

sudo mkdir /var/local/osd1

exit

准备osd节点

拷贝配置文件以及key文件

确保ceph.client.admin.keyring.有正确的权限

sudo chmod +r /etc/ceph/ceph.client.admin.keyring

查看集群状态

问题总结

问题1

问题2

运行ceph-deploy admin命令的时候出现以下的异常