HDFS存储容量扩充

本文涉及到Linux磁盘挂载，首先先扩充Linux 系统磁盘容量：

我采用的是viutualbox虚拟机上安装的centos系统。

1. 添加新硬盘

设置 -> Storage -> SATA控制器->右击，选择“添加虚拟硬盘”

然后，根据需求创建合适的硬盘

2. 重启虚拟机

查看现有的磁盘空间

sudo fdisk -l

可看到新加的虚拟硬盘，一般名为：Disk /dev/sdb

3. 给新加的硬盘

fdisk /dev/sdb

键入m,可看到帮助信息

command (m for help):m

增加新分区

command (m for help):n

选择基本分区，输入：p

建一个分区

Partition number(1-4):1

回车

First cylinder (1-15908,default 1):Enter

写入并退出

command (m for help):w

4. 格式化磁盘分区

用ext4格式对/dev/sdb1进入格式化

sudo mkfs.ext4 /dev/sdb1

5. 挂载分区

创建新的挂载点

sudo mkdir /work

将新磁盘分区挂载到/work目录下

sudo mount -t ext4 /dev/sdb1 /work

查看挂载

df -h

可以看到新加的硬盘：/dev/sdb1

6. 开机自动挂载

修改文件

sudo vim /etc/fstab

在最后一行加入：

/dev/sdb1 /work ext4 errors=remount-ro 0 1

至此系统挂载硬盘完成，下面进行HDFS的容量扩充：

首先我们先查看一下HDFS集群节点扩充前的容量，使用命令hadoop dfsadmin -report,如下：

Name:  (slave2)
Hostname: slave2
Decommission Status : Normal
Configured Capacity: 6958276608 (6.48 GB)
DFS Used: 5230592 (4.99 MB)
Non DFS Used: 5752651776 (5.36 GB)
DFS Remaining: 1200394240 (1.12 GB)
DFS Used%: 0.08%
DFS Remaining%: 17.25%
Last contact: Thu Apr 28 23:08:01 EDT 2016

可以看到DFS可用还有1.12GB。

我们需要查看hadoop的hdfs-site.xml配置文件,其中的dfs.data.dir属性所设定的目录，如/opt/modules/dfs/data

同上，将磁盘挂载到该目录下：sudo mount -t ext4 /dev/sdb1 /opt/modules/dfs/data

修改文件

sudo vim /etc/fstab

在最后一行加入：

/dev/sdb1 /opt/modules/dfs/data ext4 errors=remount-ro 0 1 （实现开机自动挂载）

再查看DFS信息，如下：

Name: (slave2)
Hostname: slave2
Decommission Status : Normal
Configured Capacity: 33683628032 (31.37 GB)
DFS Used: 5230592 (4.99 MB)
Non DFS Used: 1762873344 (1.64 GB)
DFS Remaining: 31915524096 (29.72 GB)
DFS Used%: 0.02%
DFS Remaining%: 94.75%
Last contact: Thu Apr 28 23:24:22 EDT 2016

说明该节点容量已经扩充成功了！