讲师_@王晓春

本章内容

• ▼硬件基础
• 硬盘接口类型
• 机械硬盘和固态硬盘
• 设备文件
• 硬盘存储术语
• CHS和LBA

• 磁盘分区
• 分区类型
• ▼MBR (*Master Boot Record*)
• ▷MBR分区结构图
• ▷MBR分区结构表

• ▷GPT分区结构

• parted命令
• fdisk(gdisk) -l [-u] [device...] 分区工具

• 文件系统类型
• 文件系统分类
• 创建文件系统
• 创建ext文件系统
• 文件系统标签
• 超级块和INODE TABLE
• 文件系统检测和修复

• 用mount命令挂载文件系统
• mount常用命令选项
• 文件挂载配置文件
• 处理交换文件和分区
• 挂载swap分区
• SWAP的优先级

• 使用光盘
• 挂载USB介质
• 常见工具 `df` `du` `dd`

• 练习答案

▼硬件基础

硬盘接口类型

• 并行：
  IDE：133MB/s
  SCSI：640MB/s
• 串口：
  SATA：6Gbps
  SAS：6Gbps
  USB：480MB/s

机械硬盘和固态硬盘

• 机械硬盘（HDD）：Hard Disk Drive，即是传统普通硬盘，主要由：盘片，磁头，盘片转轴及控制电机，磁头控制器，数据转换器，接口，缓存等几个部分组成。机械硬盘中所有的盘片都装在一个旋转轴上，每张盘片之间是平行的，在每个盘片的存储面上有一个磁头，磁头与盘片之间的距离比头发丝的直径还小，所有的磁头联在一个磁头控制器上，由磁头控制器负责各个磁头的运动。磁头可沿盘片的半径方向运动，加上盘片每分钟几千转的高速旋转，磁头就可以定位在盘片的指定位置上进行数据的读写操作。数据通过磁头由电磁流来改变极性方式被电磁流写到磁盘上，也可以通过相反方式读取。硬盘为精密设备，进入硬盘的空气必须过滤
• 固态硬盘（SSD）：Solid State Drive，用固态电子存储芯片阵列而制成的硬盘，由控制单元和存储单元（FLASH芯片、DRAM芯片）组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同，在产品外形和尺寸上也与普通硬盘一致

设备文件

• 设备类型：
  块设备：block，存取单位“块”，磁盘
  字符设备：char，存取单位“字符”，键盘
• 设备文件：关联至一个设备驱动程序，进而能够跟与之对应硬件设备进行通信
• 设备号码：
  主设备号：major number, 标识设备类型
  次设备号：minor number, 标识同一类型下的不同设备

磁盘设备的设备文件命名：

/dev/sd#

/dev/vd# 、/dev/xvd#

/dev/sr#

• 不同磁盘标识：a-z,aa,ab…
  

  /dev/sda, /dev/sdb, ...

• 同一设备上的不同分区：1,2, …
  

  /dev/sda1, /dev/sda5

[root@centos7 ~]$lsblk
NAME   MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda      8:0    0  20G  0 disk
├─sda1   8:1    0   1G  0 part /boot
├─sda2   8:2    0  10G  0 part /
├─sda3   8:3    0   2G  0 part [SWAP]
├─sda4   8:4    0   1K  0 part
└─sda5   8:5    0   5G  0 part /data
sr0     11:0    1  10G  0 rom

#0为SSD，1为机械硬盘
[root@centos7 ~]$cat /sys/block/sdd/queue/rotational
1

硬盘存储术语

head

track

cylinder

sector

• 机械硬盘结构
  

• ZBR（Zoned Bit Recording）

CHS和LBA

• CHS
  Cylinder Head Sector
  采用24bit位寻址（其中前10位表示cylinder，中间8位表示head，后面6位表示sector）
  最大寻址空间8GB(512×63×255×1024)
• LBA（logical block addressing）
  LBA是一个整数，通过转换成CHS格式完成磁盘具体寻址
  中定义了28位寻址模式，以每扇区512位组来计算，ATA-1所定义的28位LBA上限达到128 GiB。2002年ATA-6规范采用48位LBA，同样以每扇区512位组计算容量上限可达128 Petabytes
• 由于CHS寻址方式的寻址空间在大概8GB以内，所以在磁盘容量小于大概8GB时，可以使用CHS寻址方式或是LBA寻址方式；在磁盘容量大于大概8GB时，则只能使用LBA寻址方式

▼使用分区空间

磁盘分区

1. 优化I/O性能
2. 实现磁盘空间配额限制
3. 提高修复速度
4. 隔离系统和程序
5. 安装多个OS
6. 采用不同文件系统

分区类型

▼MBR (Master Boot Record)

1. 用32位表示扇区数(最大2T)
2. 0磁道0扇区:521bytes
   446bytes：boot loader
   64bytes：分区表（每16标示一个）
   2bytes：55AA

**MBR分区中最多4个主分区或3主分区+1个扩展分区（+N个逻辑分区)

▷MBR分区结构图

▷MBR分区结构表

▼GPT(Globals Unique Identifiers Partition Table)

GPT分组表
Block Bitmap 块位图
inode Bitmap 节点位图
inode Table 节点表
Data Blocks 数据块

1. 支持128个分区
2. UEFI硬件支持GTP

▷GPT分区结构

• UEFI (统一扩展固件接口)硬件支持GPT，使操作系统启动

BIOS+MBR与UEFI+GPT

1.BIOS

2. UEFI

▼管理分区

1. 设备识别
   

   echo '- - -' > /sys/class/scsi_host/host{0,1,2}/scan

2. 设备分区
3. 创建文件系统
4. 标记文件系统
5. 在/etc/fstab文件中创建条目
6. 挂载新的文件系统

lsblk

fdisk

gdisk

parted

partprobe

parted命令

parted的操作都是实时生效的，小心使用

parted [选项]... [设备 [命令 [参数]...]...]

#创建磁盘标签
parted /dev/sdb mklabel gpt|msdos

#显示/dev/sdb的分区表
parted /dev/sdb print

#创建主分区，从1M~200M，共199M
parted /dev/sdb mkpart primary 1 200 （默认M）

#删除第1个分区
parted /dev/sdb rm 1

#列出分区信息
parted –l

fdisk(gdisk) -l [-u] [device…] 分区工具

fdisk /dev/sdb

• 子命令：
  p 分区列表
  t 更改分区类型
  n 创建新分区
  d 删除分区
  v 校验分区
  u 转换单位
  w 保存并退出
  q 不保存并退出

同步分区表

• centos7查看内核是否已经识别新的分区
  

  cat /proc/partitions

• centos6通知内核重新读取硬盘分区表 新增分区用
  

  partx -a /dev/DEVICE

  
  

  kpartx -a /dev/DEVICE -f: force

• 删除分区用
  

  partx -d --nr M-N /dev/DEVICE

  
  

  CentOS 5，7: 使用partprobe

  
  

  partprobe [/dev/DEVICE]

▼文件系统

• 文件系统是操作系统用于明确存储设备或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件结构称为文件管理系统，简称文件系统
• 从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，安全控制，日志，压缩，加密等
• 支持的文件系统：/lib/modules/

  uname –r

  /kernel/fs
• 各种文件系统：
  https://en.wikipedia.org/wiki/Comparison_of_file_systems

文件系统类型

• Linux文件系统：
  

  ext2

  (Extended file system) :适用于那些分区容量不是太大，更新也不频繁的情况，例如 /boot 分区
  

  ext3

  :是 ext2 的改进版本，其支持日志功能，能够帮助系统从非正常关机导致的异常中恢复。它通常被用作通用的文件系统
  

  ext4

  :是 ext 文件系统的最新版。提供了很多新的特性，包括纳秒级时间戳、创建和使用巨型文件(16TB)、最大1EB的文件系统，以及速度的提升
  

  xfs

  ：SGI，支持最大8EB的文件系统
  

  btrfs

  （Oracle）,

  reiserfs

  ,

  jfs

  （AIX）,

  swap

• 光盘：iso9660
• Windows：FAT32, exFAT,NTFS
• Unix: FFS（fast）, UFS（unix）, JFS2
• 网络文件系统：NFS, CIFS
• 集群文件系统：

  GFS2

  ,

  OCFS2

  （oracle）
• 分布式文件系统： fastdfs,ceph, moosefs, mogilefs, glusterfs, Lustre
• RAW：未经处理或者未经格式化产生的文件系统

文件系统分类

• 根据其是否支持"journal"功能：
  日志型文件系统: ext3, ext4, xfs, …
  非日志型文件系统: ext2, vfat
• 文件系统的组成部分：
  内核中的模块：ext4, xfs, vfat
  用户空间的管理工具

  mkfs

  ：mkfs.ext4, mkfs.xfs,mkfs.vfat
• 查前支持的文件系统：

  cat /proc/filesystems

• Linux的虚拟文件系统：VFS
  
• 文件系统选择

创建文件系统

• mkfs命令：
  (1) mkfs.FS_TYPE /dev/DEVICE
  

  mkfs.ext4 /dev/DEVICE

  
  

  mkfs.xfs /dev/DEVICE

  
  (2) 指定文件系统

  mkfs -t FS_TYPE /dev/DEVICE

  
  (3) 设定卷标

  mkfs -L 'LABEL'

创建ext文件系统

• mke2fs：ext系列文件系统专用管理工具

-t {ext2|ext3|ext4}

-b {1024|2048|4096}

-L ‘LABEL’

-j

-i #

-N #

-I

-m #

-O FEATURE[,...]

-O ^FEATURE

文件系统标签

blkid

e2label

findfs

tune2fs

dumpe2fs

• 指向设备的另一种方法
• blkid：块设备属性信息查看
  

  blkid [OPTION]... [DEVICE]

-U UUID

-L LABEL

• e2label：管理ext系列文件系统的LABEL
  

  e2label DEVICE [LABEL]

• findfs ：查找分区
  

  findfs [options] LABEL=<label>

  
  

  findfs [options] UUID= <uuid>

• tune2fs：重新设定ext系列文件系统可调整参数的值

-l

-L 'LABEL’

-m #

-j

-O

-o

-U UUID

• dumpe2fs：将磁盘块分组管理（ext2/ext3/ext4）
  

  -h

  ：查看超级块信息，不显示分组信息

超级块和INODE TABLE

文件系统检测和修复

• 常发生于死机或者非正常关机之后
• 挂载为文件系统标记为“no clean”
• 注意：一定不要在挂载状态下修复
• fsck: 检查和修复文件系统
  

  fsck.FS_TYPE

  或

  fsck -t FS_TYPE

  
  -p 自动修复错误
  -r 交互式修复错误
  FS_TYPE 一定要与分区上已经文件类型相同
• e2fsck：ext系列文件专用的检测修复工具
  

  -y

  自动回答为yes
  

  -f

  强制修复

▼挂载mount

• 挂载:将额外文件系统与根文件系统某现存的目录建立起关联关系，进而使得此目录做为其它文件访问入口的行为。把设备关联挂载点：
  

  mount 设备名 挂载点

• 卸载:为解除此关联关系的过程
  卸载时：可使用设备，也可以使用挂载点
  

  umount 设备名|挂载点

  
  挂载点下原有文件在挂载完成后会被临时隐藏
  挂载点目录一般为空

用mount命令挂载文件系统

• 挂载方法：

  mount 设备名 挂载点

• 通过查看/etc/mtab文件显示当前已挂载的所有设备

[root@centos7 ~]$mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,seclabel,size=482108k,nr_inodes=120527,mode=755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev,seclabel)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,seclabel,gid=5,mode=620,ptmxmode=000)
...

• mount [-fnrsvw] [-t vfstype] [-o options] device dir
  device：指明要挂载的设备；dir：挂载点
  (1) 设备文件：例如/dev/sda5或/dev/sr0
  (2) 设置卷标：
  

  -L 'LABEL'

  ： 例如 -L ‘MYDATA’
  (3) 设置UUID
  

  -U 'UUID'

  ：例如 -U ‘0c50523c-43f1-45e7-85c0-a126711d406e’
  (4) 伪文件系统名称：proc, sysfs, devtmpfs, configfs
  事先存在，建议使用空目录
  进程正在使用中的设备无法被卸载

mount常用命令选项

mount 选项 设备名 挂载点

-t vsftype

-r

-w

-n

-a

-L 'LABEL'

-U 'UUID'

-B

-o options

• 查看内核追踪到的已挂载的所有设备
  cat /proc/mounts

• 卸载命令

• 查看挂载情况
  

  findmnt MOUNT_POINT|device

• 查看正在访问指定文件系统的进程
  

  lsof MOUNT_POINT

  
  

  fuser -v MOUNT_POINT

• 终止所有在正访问指定的文件系统的进程
  

  fuser -km MOUNT_POINT

• 卸载
  

  umount DEVICE

  
  

  umount MOUNT_POINT

• 使用

  mount -a

  命令挂载/etc/fstab中的所有文件系统

文件挂载配置文件

/etc/fstab

1. 要挂载的设备或伪文件系统
   设备文件
   LABEL：LABEL=""
   UUID：UUID=""
   伪文件系统名称：proc, sysfs
2. 挂载点
3. 文件系统类型：ext4，xfs，iso9660，nfs，none
4. 挂载选项：defaults ，acl，bind
5. 转储频率：0：不做备份 1：每天转储 2：每隔一天转储
6. fsck检查的文件系统的顺序：允许的数字是0 1 2
   0：不自检
   1：首先自检；一般只有rootfs才用
   2：非rootfs使用

处理交换文件和分区

• swap交换分区是系统RAM的补充，Swap 分区支持虚拟内存。当没有足够的 RAM 保存系统处理的数据时会将数据写入 swap 分区
• 当系统缺乏 swap 空间时，内核会因 RAM 内存耗尽而终止进程。配置过多 swap 空间会造成存储设备处于分配状态但闲置，造成浪费，过多 swap 空间还会掩盖内存泄露
• 推荐系统 swap 空间
  

挂载swap分区

• 基本设置包括：
  •创建交换分区或者文件
  •使用mkswap写入特殊签名
  •在/etc/fstab文件中添加适当的条目
  •使用swapon -a 激活交换空间
• 启用swap分区
  

  swapon [OPTION]... [DEVICE]

• 禁用swap分区
  

  swapoff [OPTION]... [DEVICE]

/etc/fstab 在第4列中：pri=value

SWAP的优先级

• 可以指定swap分区0到32767的优先级，值越大优先级越高
• 如果用户没有指定，那么核心会自动给swap指定一个优先级，这个优先级从-1开始，每加入一个新的没有用户指定优先级的swap，会给这个优先级减一
• 先添加的swap的缺省优先级比较高，除非用户自己指定一个优先级，而用户指定的优先级(是正数)永远高于核心缺省指定的优先级(是负数)
• 优化性能：分布存放，高性能磁盘存放

▼移动介质

• 挂载意味着使外来的文件系统看起来如同是主目录树的一部分
• 访问前，介质必须被挂载
• 摘除时，介质必须被卸载
• 按照默认设置，非根用户只能挂载某些设备（光盘、DVD、软盘、USB等等）
• 挂载点通常在/media 或/mnt下

使用光盘

• 在图形环境下自动启动挂载

  /run/media/<user>/<label>

• 否则就必须被手工挂载
  

  mount /dev/cdrom /mnt/

• 操作光盘：
  

  eject

  弹出光盘
  

  eject -t

  弹入光盘
• 创建ISO文件
  

  cp /dev/cdrom /root/centos.iso

  
  

  mkisofs -r -o /root/etc.iso /etc

• 刻录光盘
  

  wodim –v –eject centos.iso

挂载USB介质

• 查看USB设备是否识别
  

  lsusb

• 被内核探测为SCSI设备
  •/dev/sdaX、/dev/sdbX或类似的设备文件
• 在图形环境中自动挂载
  •图标在[计算机]窗口中创建
  •挂载在

  /run/media/<user>/<label>

• 手动挂载
  

  mount /dev/sdb1 /mnt

常见工具

df

du

dd

• 文件系统空间占用等信息的查看工具

df [OPTION]... [FILE]...

-H

-T

-h

-i

-P

• 查看某目录总体空间占用状态

du [OPTION]... DIR

-h

-s

--max-depth=#

• dd 命令：转换和复制文件

dd if=/PATH/FROM/SRC of=/PATH/TO/DEST bs=# count=#

if=file

of=file

bs=size

count=n

ibs=size

obs=size

cbs=size

skip=blocks

seek=blocks

conv=conversion[,conversion...]

• 示例：备份MBR
  

  dd if=/dev/sda of=/tmp/mbr.bak bs=512 count=1

• 破坏MBR中的bootloader
  

  dd if=/dev/zero of=/dev/sda bs=64 count=1 seek=446

• 有一个大与2K的二进制文件fileA。现在想从第64个字节位置开始读取，需要读取的大小是128Byts。又有fileB, 想把上面读取到的128Bytes写到第32个字节开始的位置，替换128Bytes，实现如下
  dd if=fileA of=fileB skip=64 bs=1Bytes count=128
  

  dd if=fileA of=fileB bs=1 count=128 skip=63 seek=31 conv=notrunc

备份：

#将本地的/dev/sda整盘备份到/dev/sdy
`dd if=/dev/sda of=/dev/sdy`

#将/dev/sdx全盘数据备份到指定路径的image文件
dd if=/dev/sdx of=/path/to/image

#备份/dev/sdx全盘数据，并利用gzip压缩，保存到指定路径
dd if=/dev/sdx | gzip >/path/to/image.gz

恢复：

#将备份文件恢复到指定盘
dd if=/path/to/image of=/dev/sdx

#将压缩的备份文件恢复到指定盘
gzip -dc /path/to/image.gz | dd of=/dev/sdx

拷贝内存资料到硬盘

#将内存里的数据拷贝到root目录下的mem.bin文件
`dd if=/dev/mem of=/root/mem.bin bs=1024`

从光盘拷贝iso镜像

#拷贝光盘数据到root文件夹下，并保存为cd.iso文件
dd if=/dev/cdrom of=/root/cd.iso

销毁磁盘数据

#利用随机的数据填充硬盘，在某些必要的场合可以用来销毁数据，执行此操作以后，/dev/sda1将无法挂载，创建和拷贝操作无法执行
dd if=/dev/urandom of=/dev/sda1

得到最恰当的block size
通过比较dd指令输出中命令的执行时间，即可确定系统最佳的block size大小

dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000dd if=/dev/zero of=/root/1Gb.file bs=2048 count=500000
dd if=/dev/zero of=/root/1Gb.file bs=4096 count=250000

测试硬盘写速度

dd if=/dev/zero of=/root/1Gb.file bs=1024 count=1000000

测试硬盘读速度

dd if=/root/1Gb.file bs=64k | dd of=/dev/null

▼练习

1. 创建一个2G的文件系统，块大小为2048byte，预留1%可用空间,文件系统ext4，卷标为TEST，要求此分区开机后自动挂载至/test目录，且默认有acl挂载选项
2. 写一个脚本，完成如下功能：
   (1) 列出当前系统识别到的所有磁盘设备
   (2) 如磁盘数量为1，则显示其空间使用信息
   否则，则显示最后一个磁盘上的空间使用信息
3. 将CentOS6的CentOS-6.10-x86_64-bin-DVD1.iso和CentOS-6.10-x86_64-bin-DVD2.iso两个文件，合并成一个CentOS-6.10-x86_64-Everything.iso文件，并将其配置为yum源

练习答案

1. 创建一个2G的文件系统，块大小为2048byte，预留1%可用空间,文件系统ext4，卷标为TEST，要求此分区开机后自动挂载至/test目录，且默认有acl挂载选项

#格式化分区
mke2fs -t ext4 -b 2048 -m 1 -L TEST /dev/sdb1
#创建挂载点
mkdir /mnt/test
#添加到/etc/fstab文件下
echo "UUID=38f06c8a-bf28-42db-a613-04be1e813f07 /mnt/test  ext4  defaults,acl  0  0" /etc/fstab
#UUID使用blkid查看

1. 写一个脚本，完成如下功能：
   (1) 列出当前系统识别到的所有磁盘设备
   (2) 如磁盘数量为1，则显示其空间使用信息
   否则，则显示最后一个磁盘上的空间使用信息

set -u
DISK_NUM=$(fdisk -l | grep "Disk /dev/" | wc -l)
echo "Disk infomation:"
fdisk -l | grep "Disk /dev/"
echo
df -h | head -1
if [ $DISK_NUM -eq 1 ]
then
FIRST_DISKNAME=$(fdisk -l | grep "Disk /dev" | tr / : | cut -d: -f3 | head -1)
df -h | grep "/dev/$FIRST_DISKNAME"
else
LAST_DISKNAME=$(fdisk -l | grep "Disk /dev"|tr / : | cut -d: -f3|tail -1)
df -h | grep "/dev/$LAST_DISKNAME"
fi

1. 将CentOS6的CentOS-6.10-x86_64-bin-DVD1.iso和CentOS-6.10-x86_64-bin-DVD2.iso两个文件，合并成一个CentOS-6.10-x86_64-Everything.iso文件，并将其配置为yum源

#创建文件夹挂载光盘
mkdir /mnt/cd1
mkdir /mnt/cd2

#挂载
mount /dev/sr0 /mnt/cd1
mount /dev/sr1 /mnt/cd2

#准备合成
mkdir /CentOS-6.10-x86_64-Everything
cp -av /mnt/cd1/ /CentOS-6.10-x86_64-Everything/
cp -av /mnt/cd2/Package/*.rpm /CentOS-6.10-x86_64-Everything/Package/

#合并2个TRANS.TBL
$cat /mnt/cd2/Packages/TRANS.TBL >> /CentOS-6.10-x86_64-Everything/Packages/TRANS.TBL
#排序
mv /CentOS-6.10-x86_64-Everything/Packages/{TRANS.TBL,TRANS.bak}
sort /CentOS-6.10-x86_64-Everything/Packages/TRANS.bak > /CentOS-6.10-x86_64-Everything/Packages/TRANS.TBL
rm -f /CentOS-6.10-x86_64-Everything/Packages/TRANS.bak

#生成iso
mkisofs -o CentOS-6.10-x86_64-Everything.iso /CentOS-6.10-x86_64-Everything

#挂载
mount CentOS-6.10-x86_64-Everything.iso /mnt/newcd

#配置yum
touch /etc/yum.repo/cdrom.repo
cat > cdrom.repo <<EOF
[cdrom]
name=cdrom
baseurl=file:///mnt/newcd
gpgcheck=0
enabled=1

#更新yum源
yum clean all
yum upgrade