datastax集群cassnadra数据扩容
2018-01-06 23:10
127 查看
大数据集群使用centos7.0下基于docker的DatastaxEnterprise系统,datastax版本5.0.4,spark1.6.2,cassandra3.0.10。
随着任务的进行,数据量不断增多,当集群容量不满足数据增长的情况下,为节省成本,选择磁盘扩容。
以下为具体操作:
1.购买磁盘空间装到服务器上
2.在服务器上找到该磁盘对应的名称
3.格式化磁盘
4.新建临时文件夹
5.将该磁盘挂载到临时文件夹下
6.copy源文件到该临时文件夹下
7.关闭docker
8.将源文件所在的文件夹改名。目的是确保数据安全,防止操作时误操作导致数据丢失
9.新建刚改名的空文件夹,fstab的时候要指示该路径
10.修改空文件的权限,记得最后挂载完成以后要再改一下挂载到它下面的文件的权限
11.从临时文件 卸载磁盘
12.修改 /etc/fstab
13.重启机器
14.启动docker
15.测试:(1)查看日志
(2)把内存中的数据flush到磁盘,检查文件大小会不会改变
16.在确保上述完成无误并且数据在挂载完的磁盘上工作正常,谨慎删除改名后的源文件
shell脚本仅供参考:
!/bin/bash
#set source_dir,export_dir
SOURCE_DIR="/data/dse/lib/cassandra/data/keyspace_name"
EXPORT_DIR="/root/tmp2"
#get data disk device id, like /dev/vdd
fdisk -l
#set DEVID
DEVID="/dev/vdc"
#enter "m n p return return 1 wq" for format disk
fdisk $DEVID
#format to ext4
mkfs.ext4 $DEVID"1"
#make EXPORT_DIR to insure folder exits
mkdir -p $EXPORT_DIR
#mount partition_disk to temp_files
mount $DEVID"1" $EXPORT_DIR
#copy SOURCE_DIR data to temp_files
cp -r ${SOURCE_DIR}/* ${EXPORT_DIR}
#stop container
docker stop container
#modify data to old_data for ensure_safety
mv ${SOURCE_DIR} ${SOURCE_DIR}_old
#make folder which originally_available
mkdir -p ${SOURCE_DIR}
#change_permission
chown -R 1000.1000 ${SOURCE_DIR}
umount ${DEVID}"1"
#modify /etc/fstab
echo "${DEVID}1 ${SOURCE_DIR} ext4 defaults 0 0">>/etc/fstab
#reboot
reboot
#start container
docker start container
#check it yes_or_no
#docker logs -f -t --tail="10" container
#delete ensure_safety_file
rm -rf ${SOURCE_DIR}_old
随着任务的进行,数据量不断增多,当集群容量不满足数据增长的情况下,为节省成本,选择磁盘扩容。
以下为具体操作:
1.购买磁盘空间装到服务器上
2.在服务器上找到该磁盘对应的名称
3.格式化磁盘
4.新建临时文件夹
5.将该磁盘挂载到临时文件夹下
6.copy源文件到该临时文件夹下
7.关闭docker
8.将源文件所在的文件夹改名。目的是确保数据安全,防止操作时误操作导致数据丢失
9.新建刚改名的空文件夹,fstab的时候要指示该路径
10.修改空文件的权限,记得最后挂载完成以后要再改一下挂载到它下面的文件的权限
11.从临时文件 卸载磁盘
12.修改 /etc/fstab
13.重启机器
14.启动docker
15.测试:(1)查看日志
(2)把内存中的数据flush到磁盘,检查文件大小会不会改变
16.在确保上述完成无误并且数据在挂载完的磁盘上工作正常,谨慎删除改名后的源文件
shell脚本仅供参考:
!/bin/bash
#set source_dir,export_dir
SOURCE_DIR="/data/dse/lib/cassandra/data/keyspace_name"
EXPORT_DIR="/root/tmp2"
#get data disk device id, like /dev/vdd
fdisk -l
#set DEVID
DEVID="/dev/vdc"
#enter "m n p return return 1 wq" for format disk
fdisk $DEVID
#format to ext4
mkfs.ext4 $DEVID"1"
#make EXPORT_DIR to insure folder exits
mkdir -p $EXPORT_DIR
#mount partition_disk to temp_files
mount $DEVID"1" $EXPORT_DIR
#copy SOURCE_DIR data to temp_files
cp -r ${SOURCE_DIR}/* ${EXPORT_DIR}
#stop container
docker stop container
#modify data to old_data for ensure_safety
mv ${SOURCE_DIR} ${SOURCE_DIR}_old
#make folder which originally_available
mkdir -p ${SOURCE_DIR}
#change_permission
chown -R 1000.1000 ${SOURCE_DIR}
umount ${DEVID}"1"
#modify /etc/fstab
echo "${DEVID}1 ${SOURCE_DIR} ext4 defaults 0 0">>/etc/fstab
#reboot
reboot
#start container
docker start container
#check it yes_or_no
#docker logs -f -t --tail="10" container
#delete ensure_safety_file
rm -rf ${SOURCE_DIR}_old
相关文章推荐
- redis-cluster集群扩容以及扩容client读写数据影响的探究
- 【源】从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上
- (三)kafka集群扩容后的topic分区迁移
- MYSQL5.1集群对数据保存到磁盘的设置
- oracle Rac集群环境添加数据文件不当导致数据库宕掉
- 大数据集群失联问题解决方案
- WSFC文件应用数据磁盘扩容替换
- 大数据教程(四)—— Hadoop集群VSFTP和SecureCRT安装配置
- 南宁市政府采购信息管理系统(二期)数据容灾中心升级扩容设备购置与安装工程采购
- 大数据笔记11:ZooKeeper集群、Java程序访问ZooKeeper
- Oracle单个数据文件超过32G后扩容
- 朝花夕拾之--大数据平台CDH集群离线搭建
- mfs 集群扩容 安装chunk server步骤
- Vertica集群扩容实验过程记录
- HAProxy+Hive构建高可用数据挖掘集群
- 大数据分布式集群搭建(7)
- [转发] 负载均衡的服务器集群上如何进行缓存和会话数据的管理
- 医院集群热备备份方案(DELL2950+MD3000+数据备份规划)
- 大数据 IMF 传奇 困扰很久的问题解决!ecliplse 远程提交程序到虚拟机 hadoop集群 ,ecliplse 没有显示输出 的问题解决!