04.11 Linux文件系统类型与特点

1、Linux文件系统分配策略：

块分配(blockallocation)和扩展分配(extentallocation)：

块分配：磁盘上的文件块根据需要分配给文件，避免了存储空间的浪费。但当文件扩充时，会造成文件中文件块的不连续，从而导致过多的磁盘寻道时间。

每一次文件扩展时，块分配算法就需要写入文件块的结构信息，也就是meta-dada。meta-data总是与文件一起写入存储设备，改变文件的操作要等到所有meta-data的操作都完成后才能进行，因此，meta-data的操作会明显降低整个文件系统的性能。

扩展分配：文件创建时，一次性分配一连串连续的块，当文件扩展时，也一次分配很多块。meta-data在文件创建时写入，当文件大小没有超过所有已分配文件块大小时，就不用写入meta-data，直到需要再分配文件块的时候。

扩展分配采用成组分配块的方式，减少了SCSI设备写数据的时间，在读取顺序文件时具有良好的性能，但随机读取文件时，就和块分配类似了。

文件块的组或块簇(blockcluster)的大小是在编译时确定的。簇的大小对文件系统的性能有很大的影响。

注：meta-data元信息：和文件有关的信息，比如权限、所有者以及创建、访问或更改时间等。

2、文件的记录形式

linux文家系统使用索引节点(inode)来记录文件信息。索引节点是一种数据结构，它包含了一个文件的长度、创建及修改时间、权限、所属关系、磁盘中的位置等信息。

一个文件系统维护了一个索引节点的数组，每个文件或目录都与索引节点数组中的唯一的元素对应。每个索引节点在数组中的索引号，称为索引节点号。

linux文件系统将文件索引节点号和文件名同时保存在目录中，所以，目录只是将文件的名称和它的索引节点号结合在一起的一张表，目录中每一对文件名称和索引节点号称为一个连接。

对于一个文件来说，有一个索引节点号与之对应；而对于一个索引节点号，却可以对应多个文件名。

连接分为软连接和硬连接，其中软连接又叫符号连接。

硬连接：原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接；硬连接不能跨文件系统(不能跨越不同的分区)，文件在磁盘中只有一个拷贝。

由于删除文件要在同一个索引节点属于唯一的连接时才能成功，因此硬连接可以防止不必要的误删除。

软连接：用ln-s命令建立文件的符号连接。符号连接是linux特殊文件的一种，作为一个文件，它的数据是它所连接的文件的路径名。没有防止误删除的功能。

3、linux文件系统分类：

ext2：早期linux中常用的文件系统

ext3：ext2的升级版，带日志功能

ext4：ext3的升级版，大幅度改动

RAMFS：内存文件系统，速度很快

NFS：网络文件系统，由SUN发明，主要用于远程文件共享

MS-DOS：MS-DOS文件系统

VFAT：Windows95/98操作系统采用的文件系统

FAT：WindowsXP操作系统采用的文件系统

NTFS：WindowsNT/XP操作系统采用的文件系统

HPFS：OS/2操作系统采用的文件系统

PROC:虚拟的进程文件系统

ISO9660：大部分光盘所采用的文件系统

ufsSun:OS所采用的文件系统

NCPFS：Novell服务器所采用的文件系统

SMBFS：Samba的共享文件系统

XFS：由SGI开发的先进的日志文件系统，支持超大容量文件

JFS：IBM的AIX使用的日志文件系统

ReiserFS:基于平衡树结构的文件系统

udf:可擦写的数据光盘文件系统

4、虚拟文件系统VFS

linux支持的所有文件系统称为逻辑文件系统，而linux在传统的逻辑文件系统的基础上增加料一个蓄念文件系统(VitualFileSystem,VFS)的接口层。虚拟文件系统(VFS)位于文件系统的最上层，管理各种逻辑文件系统，并可以屏蔽各种逻辑文件系统之间的差异，提供统一文件和设备的访问接口。

5、文件的逻辑结构

文件的逻辑结构可分为两大类：字节流式的无结构文件和记录式的有结构文件。

由字节流（字节序列）组成的文件是一种无结构文件或流式文件，不考虑文件内部的逻辑结构，只是简单地看作是一系列字节的序列，便于在文件的任意位置添加内容。

由记录组成的文件称为记录式文件，记录是这种文件类型的基本信息单位，记录式文件通用于信息管理。

6、文件类型

普通文件：通常是流式文件

目录文件：用于表示和管理系统中的全部文件

连接文件：用于不同目录下文件的共享

设备文件：包括块设备文件和字符设备文件，块设备文件表示磁盘文件、光盘等，字符设备文件按照字符操作终端、键盘等设备。

管道(FIFO)文件:提供进程建通信的一种方式

套接字(socket)文件：该文件类型与网络通信有关

7、文件结构：

包括索引节点和数据

索引节点：又称I节点，在文件系统结构中，包含有关相应文件的信息的一个记录，这些信息包括文件权限、文件名、文件大小、存放位置、建立日期等。文件系统中所有文件的索引节点保存在索引节点表中。

数据：文件的实际内容。可以是空的，也可以非常大，并且拥有自己的结构。

8、ext2文件系统

ext2文件系统的数据块大小一般为1024B、2048B或4096B

ext2文件系统采用的索引节点(inode)：索引节点采用了多重索引结构，主要体现在直接指针和3个间接指针。直接指针包含12个直接指针块，它们直接指向包含文件数据的数据块，紧接在后面的3个间接指针是为了适应文件的大小变化而设计的。

e.g：假设数据块大小为1024B，利用12个直接指针，可以保存最大为12KB的文件，当文件超过12KB时，则要利用单级间接指针，该指针指向的数据块保存有一组数据块指针，这些指针依次指向包含有实际数据的数据块，假如每个指针占用4B，则每个单级指针数据块可保存1024/4＝256个数据指针，因此利用直接指针和单级间接指针可保存1024*12＋1024*256＝268KB的文件。

当文件超过268KB时，再利用二级间接指针，直到使用三级间接指针。利用直接指针、单级间接指针、二级间接指针、三级间接指针可保存的最大文件大小为：1024*12+1024*256+1024*256*256+1024*256*256*256＝16843020KB，约16GB，若数据块大小为2048B，指针占4B，则最大文件大小为：2048*12+2048*512+2048*512*512+2048*512*512*512＝268,960,792KB约268GB

若数据块大小为4096B，指针占4B，则最大文件大小为：4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024＝4,299,165,744KB，约4TB

注：命令tune2fs-l/dev/sda5可查看文件系统，ext2文件系统最大文件名长度：255个字符

ext2文件系统的缺点：

ext2在写入文件内容的同时并没有同时写入文件meta-data，其工作顺序是先写入文件的内容，然后等空闲时候才写入文件的me
4000
ta-data。若发生意外，则文件系统就会处于不一致状态。在重新启动系统的时候，linux会启动fsk(filesystemcheck)的程序，扫描整个文件系统并试图修复，但不提供保证。

9、ext3文件系统：

ext3基于ext2的代码，所以磁盘格式与ext2相同，使用相同的元数据。

ext2文件系统无损转化为ext3文件系统：tune2fs-j/dev/sda6

日志块设备(Journalingblockdevicelayer,JBD)完成ext3文件系统日志功能。JBD不是ext3文件系统所特有的，它的设计目标是为了向一个块设备添加日志功能。当一个文件修改执行时，ext3文件系统代码将通知JBD，称为一个事务(transaction)。发生意外时，日志功能具有的重放功能，能重新执行中断的事务。

日志中的3种数据模式：

1)data=writeback：不处理任何形式的日志数据，给用户整体上的最高性能

2)data=odered：只记录元数据日志，但将元数据和数据组成一个单元称为事务(transaction)。此模式保持所句句的可靠性与文件系统的一致性，性能远低于data=writeback模式，但比data=journal模式快

3)data=journal：提供完整的数据及元数据日志，所有新数据首先被写入日志，然后才被定位。意外发生过后，日志可以被重放，将数据与元数据带回一致状态。这种模式整体性能最慢，但数据需要从磁盘读取和写入磁盘时却是3种模式中最快的。

ext3文件系统最大文件名长度：255个字符

ext3文件系统的优点：可用性、数据完整性、速度、兼容性

Ext4文件系统

Ext4是一种针对ext3系统的扩展日志式文件系统,

为 Linux 开发的原始的扩展文件系统（ext 或 extfs）的第四版。 Linux kernel 自 2.6.28 开始正式支持新的文件系统 Ext4。Ext3 中部分重要的数据结构，而不仅仅像 Ext3 对 Ext2 那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能。

相对于Ext3,特点如下：

1. 与 Ext3 兼容。 执行若干条命令，就能从 Ext3 在线迁移到 Ext4，而无须重新格式化磁盘或重新安装系统。原有 Ext3数据结构照样保留，Ext4 作用于新数据，当然，整个文件系统因此也就获得了 Ext4 所支持的更大容量。

2. 更大的文件系统和更大的文件。 较之 Ext3 目前所支持的最大 16TB 文件系统和最大 2TB 文件，Ext4 分别支持 1EB（1,048,576TB， 1EB=1024PB， 1PB=1024TB）的文件系统，以及 16TB 的文件。

3. 无限数量的子目录。 Ext3 目前只支持 32,000 个子目录，而 Ext4 支持无限数量的子目录。

4. Extents。 Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在 Ext3 中要建立 25,600 个数据块（每个数据块大小为 4KB）的映射表。而 Ext4 引入了现代文件系统中流行的 extents 概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的 25,600 个数据块中”，提高了不少效率。

5. 多块分配。 当 写入数据到 Ext3 文件系统中时，Ext3 的数据块分配器每次只能分配一个 4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc） 支持一次调用分配多个数据块。

6. 延迟分配。 Ext3 的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。

7. 快速 fsck。 以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，而现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。

8. 日志校验。 日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4 的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。

9. “无日志”（No Journaling）模式。 日志总归有一些开销，Ext4 允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。

10. 在线碎片整理。 尽管延迟分配、多块分配和 extents 能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4 支持在线碎片整理，并将提供 e4defrag 工具进行个别文件或整个文件系统的碎片整理。

11. inode 相关特性。 Ext4 支持更大的 inode，较之 Ext3 默认的 inode 大小 128 字节，Ext4 为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或 inode 版本），默认 inode 大小为 256 字节。Ext4 还支持快速扩展属性（fast extended attributes）和 inode 保留（inodes reservation）。

12. 持久预分配（Persistent preallocation）。 P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4 在文件系统层面实现了持久预分配并提供相应的 API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

13. 默认启用 barrier。 磁 盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写 commit 记录，若 commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4 默认启用 barrier，只有当 barrier 之前的数据全部写入磁盘，才能写 barrier 之后的数据。（可通过 “mount -o barrier=0” 命令禁用该特性。）

10、ReiserFS文件系统

ReiserFS文件系统是由HansReiser和他领导的开发小组共同开发的，整个文件系统完全是从头设计的，是一个非常优秀的文件系统。也是最早用于Linux的日志文件系统之一。

ReiserFS的特点：先进的日志机制

ReiserFS有先进的日志(Journaling/logging)功能机制。日志机制保证了在每个实际数据修改之前，相应的日志已经写入硬盘。文件与数据的安全性有了很大提高。

高效的磁盘空间利用

Reiserfs对一些小文件不分配inode。而是将这些文件打包，存放在同一个磁盘分块中。而其它文件系统则为每个小文件分别放置到一个磁盘分块中。

独特的搜寻方式。

ReiserFS基于快速平衡树(balancedtree)搜索，平衡树在性能上非常卓越，这是一种非常高效的算法。ReiserFS搜索大量文件时，搜索速度要比ext2快得多。Reiserfs文件系统使用B*Tree存储文件，而其它文件系统使用B+Tree树。B*Tree查询速度比B+Tree要快很多。Reiserfs在文件定位上速度非常快。在实际运用中，ReiserFS在处理小于4k的文件时，比ext2快5倍；带尾文件压缩功能（默认）的ReiserFS比ext2文件系统多存储6%的数据。

支持海量磁盘

ReiserFS是一个非常优秀的文件系统，一直被用在高端UNIX系统上，可轻松管理上百G的文件系统，ReiserFS文件系统最大支持的文件系统尺寸为16TB。这非常适合企业级应用中。

linux文件系统分类优异的性能：由于它的高效存储和快速小文件I/O特点，使用ReiserFs文件系统的PC，在启动X窗口系统时，所花的时间要比在同一台机器上使用ext2文件系统少1/3。另外，ReiserFS文件系统支持单个文件尺寸为4G的文件，这为大型数据库系统在linux上的应用提供了更好的选择。