ceph 存储安装部署
2017-03-03 10:15
344 查看
环境准备
1.三台服务器
cephnode01 192.168.254.83cephnode02 192.168.254.84
cephnode03 192.168.254.85
2.基本环境配置
设置主机名#192.168.254.83 hostnamectl set-hostname cephnode01 #192.168.254.84 hostnamectl set-hostname cephnode02 #192.168.254.85 hostnamectl set-hostname cephnode03
添加hosts绑定
在每个服务器上添加host绑定,确保可以通过域名进行访问
192.168.254.83 cephnode01 192.168.254.84 cephnode02 192.168.254.85 cephnode03
关闭防火墙
systemctl stop firewalld.service systemctl disable firewalld.service
禁用selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config setenforce 0
时间更新同步
yum install ntpdate -y ntpdate asia.pool.ntp.org
做免密钥认证
在管理节点上生成密钥,并复制到其他节点
安装ceph
安装ceph管理工具ceph-deployyum install -y ceph-deploy
创建工作目录
mkdir /ceph ; cd /ceph
安装ceph客户端
在每台主机上安装ceph yum install -y ceph 或者 在管理节点上之行 ceph-deploy install cephnode01 cephnode02 cephnode03
在管理主机上操作
启动一个新的ceph集群,并设置初始监控节点 ceph-deploy new cephnode01 cephnode02 cephnode03 建议是奇数 激活监控节点 ceph-deploy mon create-initial 磁盘操作 ceph-deploy disk zap cephnode01:/dev/sdb1 cephnode02:/dev/sdb1 cephnode03:/dev/sdb1 #擦出盘所有数据 ceph-deploy osd prepare cephnode01:/dev/sdb1 cephnode02:/dev/sdb1 cephnode03:/dev/sdb1 #格式化盘 ceph-deploy osd activate cephnode01:/dev/sdb1 cephnode02:/dev/sdb1 cephnode03:/dev/sdb1 #激活盘 也可以使用create完成,但是有bug ceph-deploy osd create node4:sdb node2:sdb node4:sdc node2:sdc node3:sdb node3:sdc 确认集群状态,显示OK则正常 ceph -s
创建相关的池
ceph osd pool create image 64 ceph建好后默认有个rbd池,可以考虑删除 ceph osd pool delete rbd rbd --yes-i-really-really-mean-it 创建一个镜像,-p参数指定池的名称,-size单位为M rbd create test --size 1024 -p image
如果安装中途有什么问题,可以推到重来
ceph-deploy purge 节点1 节点2 .... ceph-deploy purgedata 节点1 节点2 .... ceph-deploy forgetkeys
参考:http://docs.ceph.org.cn/
其他命令
rados lspools 查看池子ceph -s 或 ceph status 查看集群状态
ceph -w 观察集群健康状态
ceph quorum_status --format json-pretty 检查ceph monitor仲裁状态
ceph df 检查集群使用情况
ceph mon stat 检查monitor状态
ceph osd stat 检查osd状态
ceph pg stat 检查pg配置组状态
ceph pg dump 列出PG
ceph osd lspools 列出存储池
ceph osd tree 检查osd的crush map
ceph auth list 列出集群的认证密钥
ceph 获取每个osd上pg的数量
ceph pg dump | awk ' /^pg_stat/ { col=1; while($col!="up") {col++}; col++ } /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTART, RLENGTH); poollist[pool]=0; up=$col; i=0; RSTART=0; RLENGTH=0; delete osds; while(match(up,/[0-9]+/)>0) { osds[++i]=substr(up,RSTART,RLENGTH); up = substr(up, RSTART+RLENGTH) } for(i in osds) {array[osds[i],pool]++; osdlist[osds[i]];} } END { printf("\n"); printf("pool :\t"); for (i in poollist) printf("%s\t",i); printf("| SUM \n"); for (i in poollist) printf("--------"); printf("----------------\n"); for (i in osdlist) { printf("osd.%i\t", i); sum=0; for (j in poollist) { printf("%i\t", array[i,j]); sum+=array[i,j]; poollist[j]+=array[i,j] }; printf("| %i\n",sum) } for (i in poollist) printf("--------"); printf("----------------\n"); printf("SUM :\t"); for (i in poollist) printf("%s\t",poollist[i]); printf("|\n"); }'
启动osd服务:
/usr/bin/systemctl start ceph-osd@0
相关文章推荐
- ceph存储 安装部署Ceph Calamari经典示例
- Centos7上部署Ceph存储集群以及CephFS的安装
- 【Ceph学习之一】Centos7上部署Ceph存储集群以及CephFS的安装
- Openstack I版 结合 Ceph 分布式存储 部署安装(九)
- Openstack I版 结合 Ceph 分布式存储 部署安装(四)
- Openstack I版 结合 Ceph 分布式存储 部署安装(八)
- C# clr 存储过程例子(完整从:编译到配置到存储过程的安装部署到使用)
- 物理机上使用fuel5.1部署openstackHA存储使用ceph
- ceph详细安装部署教程(多监控节点)
- Openstack I版 结合 Ceph 分布式存储 部署安装(二)
- Openstack I版 结合 Ceph 分布式存储 部署安装(一)
- 使用ceph-deploy安装部署线上ceph分布式存储集群(centos6.6)
- ceph 对象存储网关rados gateway和S3接口测试详细安装配置文档
- ceph存储 Linux 下安装python软件包(pip、nose、virtualenv、distribute )
- ceph存储 centos7+0.87源码安装ceph集群问题汇总
- Openstack I版 结合 Ceph 分布式存储 部署安装(三)
- Ceph学习1——Ubuntu12.04手动安装Ceph&&部署Ceph集群
- 淘宝分布式 key/value 存储引擎Tair安装部署过程及Java客户端测试一例
- centos6.4 ceph安装部署之ceph object storage
- ceph存储 ceph集群ceph-deploy部署使用说明