Linux文件描述符（转）

转载请说明出处：http://blog.csdn.net/cywosp/article/details/38965239

1. 概述

    在Linux系统中一切皆可以看成是文件，文件又可分为：普通文件、目录文件、链接文件和设备文件。文件描述符（file descriptor）是内核为了高效管理已被打开的文件所创建的索引，其是一个非负整数（通常是小整数），用于指代被打开的文件，所有执行I/O操作的系统调用都通过文件描述符。程序刚刚启动的时候，0是标准输入，1是标准输出，2是标准错误。如果此时去打开一个新的文件，它的文件描述符会是3。POSIX标准要求每次打开文件时（含socket）必须使用当前进程中最小可用的文件描述符号码，因此，在网络通信过程中稍不注意就有可能造成串话。标准文件描述符图如下：



文件描述与打开的文件对应模型如下图：



2. 文件描述限制

    在编写文件操作的或者网络通信的软件时，初学者一般可能会遇到“Too many open files”的问题。这主要是因为文件描述符是系统的一个重要资源，虽然说系统内存有多少就可以打开多少的文件描述符，但是在实际实现过程中内核是会做相应的处理的，一般最大打开文件数会是系统内存的10%（以KB来计算）（称之为系统级限制），查看系统级别的最大打开文件数可以使用sysctl
-a | grep fs.file-max命令查看。与此同时，内核为了不让某一个进程消耗掉所有的文件资源，其也会对单个进程最大打开文件数做默认值处理（称之为用户级限制），默认值一般是1024，使用ulimit -n命令可以查看。在Web服务器中，通过更改系统默认值文件描述符的最大值来优化服务器是最常见的方式之一，具体优化方式请查看http://blog.csdn.net/kumu_linux/article/details/7877770。

3. 文件描述符合打开文件之间的关系

    每一个文件描述符会与一个打开文件相对应，同时，不同的文件描述符也会指向同一个文件。相同的文件可以被不同的进程打开也可以在同一个进程中被多次打开。系统为每一个进程维护了一个文件描述符表，该表的值都是从0开始的，所以在不同的进程中你会看到相同的文件描述符，这种情况下相同文件描述符有可能指向同一个文件，也有可能指向不同的文件。具体情况要具体分析，要理解具体其概况如何，需要查看由内核维护的3个数据结构。

    1. 进程级的文件描述符表

    2. 系统级的打开文件描述符表

    3. 文件系统的i-node表

进程级的描述符表的每一条目记录了单个文件描述符的相关信息。

    1. 控制文件描述符操作的一组标志。（目前，此类标志仅定义了一个，即close-on-exec标志）

    2. 对打开文件句柄的引用

内核对所有打开的文件的文件维护有一个系统级的描述符表格（open file description table）。有时，也称之为打开文件表（open file table），并将表格中各条目称为打开文件句柄（open file handle）。一个打开文件句柄存储了与一个打开文件相关的全部信息，如下所示：

    1. 当前文件偏移量（调用read()和write()时更新，或使用lseek()直接修改）

    2. 打开文件时所使用的状态标识（即，open()的flags参数）

    3. 文件访问模式（如调用open()时所设置的只读模式、只写模式或读写模式）

    4. 与信号驱动相关的设置

    5. 对该文件i-node对象的引用

    6. 文件类型（例如：常规文件、套接字或FIFO）和访问权限

    7. 一个指针，指向该文件所持有的锁列表

    8. 文件的各种属性，包括文件大小以及与不同类型操作相关的时间戳

下图展示了文件描述符、打开的文件句柄以及i-node之间的关系，图中，两个进程拥有诸多打开的文件描述符。



    在进程A中，文件描述符1和30都指向了同一个打开的文件句柄（标号23）。这可能是通过调用dup()、dup2()、fcntl()或者对同一个文件多次调用了open()函数而形成的。

    进程A的文件描述符2和进程B的文件描述符2都指向了同一个打开的文件句柄（标号73）。这种情形可能是在调用fork()后出现的（即，进程A、B是父子进程关系），或者当某进程通过UNIX域套接字将一个打开的文件描述符传递给另一个进程时，也会发生。再者是不同的进程独自去调用open函数打开了同一个文件，此时进程内部的描述符正好分配到与其他进程打开该文件的描述符一样。

    此外，进程A的描述符0和进程B的描述符3分别指向不同的打开文件句柄，但这些句柄均指向i-node表的相同条目（1976），换言之，指向同一个文件。发生这种情况是因为每个进程各自对同一个文件发起了open()调用。同一个进程两次打开同一个文件，也会发生类似情况。

4. 总结

    1. 由于进程级文件描述符表的存在，不同的进程中会出现相同的文件描述符，它们可能指向同一个文件，也可能指向不同的文件

    2. 两个不同的文件描述符，若指向同一个打开文件句柄，将共享同一文件偏移量。因此，如果通过其中一个文件描述符来修改文件偏移量（由调用read()、write()或lseek()所致），那么从另一个描述符中也会观察到变化，无论这两个文件描述符是否属于不同进程，还是同一个进程，情况都是如此。

    3. 要获取和修改打开的文件标志（例如：O_APPEND、O_NONBLOCK和O_ASYNC），可执行fcntl()的F_GETFL和F_SETFL操作，其对作用域的约束与上一条颇为类似。

    4. 文件描述符标志（即，close-on-exec）为进程和文件描述符所私有。对这一标志的修改将不会影响同一进程或不同进程中的其他文件描述符

简单归纳：fd只是一个整数，在open时产生。起到一个索引的作用，进程通过PCB中的文件描述符表找到该fd所指向的文件指针filp。

文件描述符的操作(如: open)返回的是一个文件描述符,内核会在每个进程空间中维护一个文件描述符表, 所有打开的文件都将通过此表中的文件描述符来引用; 

而流(如: fopen)返回的是一个FILE结构指针, FILE结构是包含有文件描述符的，FILE结构函数可以看作是对fd直接操作的系统调用的封装, 它的优点是带有I/O缓存

Linux支持各种各样的文件系统格式，如ext2、ext3、reiserfs、FAT、NTFS、iso9660等等，不同的磁盘分区、光盘或其它存储设备都有不同的文件系统格式，然而这些文件系统都可以

mount

到某个目录下，使我们看到一个统一的目录树，各种文件系统上的目录和文件我们用

ls

命令看起来是一样的，读写操作用起来也都是一样的，这是怎么做到的呢？Linux内核在各种不同的文件系统格式之上做了一个抽象层，使得文件、目录、读写访问等概念成为抽象层的概念，因此各种文件系统看起来用起来都一样，这个抽象层称为虚拟文件系统（VFS，Virtual
Filesystem）。上一节我们介绍了一种典型的文件系统在磁盘上的存储布局，这一节我们介绍运行时文件系统在内核中的表示。

3.1. 内核数据结构

Linux内核的VFS子系统可以图示如下：





每个进程在PCB（Process Control Block）即进程控制块中都保存着一份文件描述符表，文件描述符就是这个表的索引，文件描述表中每个表项都有一个指向已打开文件的指针，现在我们明确一下：已打开的文件在内核中用

file

结构体表示，文件描述符表中的指针指向

file

结构体。

在

file

结构体中维护File Status Flag（

file

结构体的成员

f_flags

）和当前读写位置（

file

结构体的成员

f_pos

）。在上图中，进程1和进程2都打开同一文件，但是对应不同的

file

结构体，因此可以有不同的File
Status Flag和读写位置。

file

结构体中比较重要的成员还有

f_count

，表示引用计数（Reference Count），后面我们会讲到，

dup

、

fork

等系统调用会导致多个文件描述符指向同一个

file

结构体，例如有

fd1

和

fd2

都引用同一个

file

结构体，那么它的引用计数就是2，当

close(fd1)

时并不会释放

file

结构体，而只是把引用计数减到1，如果再

close(fd2)

，引用计数就会减到0同时释放

file

结构体，这才真的关闭了文件。

每个

file

结构体都指向一个

file_operations

结构体，这个结构体的成员都是函数指针，指向实现各种文件操作的内核函数。比如在用户程序中

read

一个文件描述符，

read

通过系统调用进入内核，然后找到这个文件描述符所指向的

file

结构体，找到

file

结构体所指向的

file_operations

结构体，调用它的

read

成员所指向的内核函数以完成用户请求。在用户程序中调用

lseek

、

read

、

write

、

ioctl

、

open

等函数，最终都由内核调用

file_operations

的各成员所指向的内核函数完成用户请求。

file_operations

结构体中的

release

成员用于完成用户程序的

close

请求，之所以叫

release

而不叫

close

是因为它不一定真的关闭文件，而是减少引用计数，只有引用计数减到0才关闭文件。对于同一个文件系统上打开的常规文件来说，

read

、

write

等文件操作的步骤和方法应该是一样的，调用的函数应该是相同的，所以图中的三个打开文件的

file

结构体指向同一个

file_operations

结构体。如果打开一个字符设备文件，那么它的

read

、

write

操作肯定和常规文件不一样，不是读写磁盘的数据块而是读写硬件设备，所以

file

结构体应该指向不同的

file_operations

结构体，其中的各种文件操作函数由该设备的驱动程序实现。

每个

file

结构体都有一个指向

dentry

结构体的指针，“dentry”是directory entry（目录项）的缩写。我们传给

open

、

stat

等函数的参数的是一个路径，例如

/home/akaedu/a

，需要根据路径找到文件的inode。为了减少读盘次数，内核缓存了目录的树状结构，称为dentry
cache，其中每个节点是一个

dentry

结构体，只要沿着路径各部分的dentry搜索即可，从根目录

/

找到

home

目录，然后找到

akaedu

目录，然后找到文件

a

。dentry
cache只保存最近访问过的目录项，如果要找的目录项在cache中没有，就要从磁盘读到内存中。

每个

dentry

结构体都有一个指针指向

inode

结构体。

inode

结构体保存着从磁盘inode读上来的信息。在上图的例子中，有两个dentry，分别表示

/home/akaedu/a

和

/home/akaedu/b

，它们都指向同一个inode，说明这两个文件互为硬链接。

inode

结构体中保存着从磁盘分区的inode读上来信息，例如所有者、文件大小、文件类型和权限位等。每个

inode

结构体都有一个指向

inode_operations

结构体的指针，后者也是一组函数指针指向一些完成文件目录操作的内核函数。和

file_operations

不同，

inode_operations

所指向的不是针对某一个文件进行操作的函数，而是影响文件和目录布局的函数，例如添加删除文件和目录、跟踪符号链接等等，属于同一文件系统的各

inode

结构体可以指向同一个

inode_operations

结构体。

inode

结构体有一个指向

super_block

结构体的指针。

super_block

结构体保存着从磁盘分区的超级块读上来的信息，例如文件系统类型、块大小等。

super_block

结构体的

s_root

成员是一个指向

dentry

的指针，表示这个文件系统的根目录被

mount

到哪里，在上图的例子中这个分区被

mount

到

/home

目录下。

file

、

dentry

、

inode

、

super_block

这几个结构体组成了VFS的核心概念。对于ext2文件系统来说，在磁盘存储布局上也有inode和超级块的概念，所以很容易和VFS中的概念建立对应关系。而另外一些文件系统格式来自非UNIX系统（例如Windows的FAT32、NTFS），可能没有inode或超级块这样的概念，但为了能

mount

到Linux系统，也只好在驱动程序中硬凑一下，在Linux下看FAT32和NTFS分区会发现权限位是错的，所有文件都是

rwxrwxrwx

，因为它们本来就没有inode和权限位的概念，这是硬凑出来的。