java的NIO基础知识

摘要: java的NIO是一个高可复用性的I/O工具，在linux系统中底层使用的epoll工具。将原来的老式的文件流系统，改成了事件流。要学习NIO，必须了解一些预备知识，下面收集一些知识基础和NIO的特性。

java的NIO基础知识

java的NIO是一个高可复用性的I/O工具，在linux系统中底层使用的epoll工具。将原来的老式的文件流系统，改成了事件流。要学习NIO，必须了解一些预备知识，下面收集一些知识基础和NIO的特性。

1、Linux的文件系统

linux通过文件系统将硬件存储设备映射为一个逻辑文件系统的一个目录。正统的linux文件系统将硬盘分区划分为目录块、inode Table区、data block数据区域。一个文件由一个目录项、inode表和数据区块组成。Inode包含了文件的属性（如读、写、owner、block地址），数据区域则是文件内容的二进制数据。

当查看某个文件的时候，会先从inode table中查找文件的属性和数据block地址，再从对应的block读取数据。



目录表



inode结构：



硬连接：是给文件一个副本，同时建立两者之间的连接关系。修改其中一个，与其连接的文件同时被修改。如果删除其中任意一个其余的文件将不受影响（由于目录表中的数据标识没有删完，Inode和Block中的数据就不会被删掉）。

软连接 : 也叫符号连接,他只是对源文件在新的位置建立一个“快捷（借用一下wondows常用词）”，所以，当源文件删除时，符号连接的文件将成为无源之水->仅仅剩下个文件名了，当然删除这个连接，也不会影响到源文件，但对连接文件的使用、引用都是直接调用源文件的。

#创建一个硬链接和软连接
$: touch 1.txt
$: echo "aaa" >> 1.txt
$: ln 1.txt 2.txt
$: ln -s 1.txt 3.txt

从截图可以看出硬链接的inode是相同的，也就是它们是一个文件的不同目录表标识。而3.txt的inode和源文件的Inode不同，而且没有Blocks，直接从inode指向1.txt.

2、文件描述符

文件描述符：内核为了高效的管理已被打开的文件所创建的索引，是一个非负整数，用于指代被打开的文件，所有执行的I/O操作的系统调用都通过文件描述符。内核为每一个进程维护一个文件描述符表，当线程打开才运行的时候：0（标准输入：stdin），1(标准输出)，2（标准错误）会被默认占用，打开的其它I/O会从3开始。

文件描述附表大概如下



一个进程打开的最大文件数是系统内存的10%（以KB计算），也可以通过下面的命令查看和修改

#查看linux的每个进程文件描述符的个数（俗称fd数）
：ulimit -n
1024（centOS7 2^10）
#修改为2^16。8位
:ulimit -HSn 65536

在实际的应用中会出现下面的运行图



1、文件描述符表：用户态

ps:已打开的文件在内核中用file结构体表示，文件描述符表(file_struct：进程中)中的指针指向file结构体

2、内核和用户程序之间的桥梁

在file结构体（内核中）中维护File Status Flag（file结构体的成员f_flags）和当前读写位置（file结构体的成员f_pos）。在上图中，进程1和进程2都打开同一文件，但是对应不同的file结构体，因此可以有不同的File Status Flag和读写位置。file结构体中比较重要的成员还有f_count，表示引用计数（Reference Count），后面我们会讲到，dup、fork等系统调用会导致多个文件描述符指向同一个file结构体，例如有fd1和fd2都引用同一个file结构体，那么它的引用计数就是2，当close(fd1)时并不会释放file结构体，而只是把引用计数减到1，如果再close(fd2)，引用计数就会减到0同时释放file结构体，这才真的关闭了文件。

(

f_flags：操作方式

f_pos：当前读写位置

f_count：统计该file结构体被使用多少次，如果是f_count=0则关闭。

)

每个file结构体都指向一个file_operations结构体，这个结构体的成员都是函数指针，指向实现各种文件操作的内核函数。比如在用户程序中read一个文件描述符，read通过系统调用进入内核，然后找到这个文件描述符所指向的file结构体，找到file结构体所指向的file_operations结构体，调用它的read成员所指向的内核函数以完成用户请求。

在用户程序中调用lseek、read、write、ioctl、open等函数，最终都由内核调用file_operations的各成员所指向的内核函数完成用户请求。

file_operations结构体中的release成员用于完成用户程序的close请求，之所以叫release而不叫close是因为它不一定真的关闭文件，而是减少引用计数，只有引用计数减到0才关闭文件。

对于同一个文件系统上打开的常规文件来说，read、write等文件操作的步骤和方法应该是一样的，调用的函数应该是相同的，所以图中的三个打开文件的file结构体指向同一个file_operations结构体。

如果打开一个字符设备文件，那么它的read、write操作肯定和常规文件不一样，不是读写磁盘的数据块而是读写硬件设备，所以file结构体应该指向不同的file_operations结构体，其中的各种文件操作函数由该设备的驱动程序实现。

file_operations结构体：内核提供给用户态使用的文件操作函数指针。lseek,write,ioctl,open等 （ps： release(使用close（）时候使用)。内核不一定关闭文件，而是减少f_count。当到0的时候关闭文件 2、同一文件系统使用同一file_operations）

3、完全的内核态（和bash一样通过文件系统直接查找）

每个file结构体都有一个指向dentry结构体的指针，“dentry”是directory entry（目录项）的缩写。我们传给open、stat等函数的参数的是一个路径，

例如/home/akaedu/a，需要根据路径找到文件的inode。为了减少读盘次数，内核缓存了目录的树状结构，称为dentry cache，其中每个节点是一个dentry结构体，只要沿着路径各部分的dentry搜索即可，从根目录/找到home目录，然后找到akaedu目录，然后找到文件a。dentry cache只保存最近访问过的目录项，如果要找的目录项在cache中没有，就要从磁盘读到内存中。

a、从目录项缓存中找到inode、如果没有则直接从硬盘中读取

每个dentry结构体都有一个指针指向inode结构体。inode结构体保存着从磁盘inode读上来的信息。在上图的例子中，有两个dentry，分别表示/home/akaedu/a和/home/akaedu/b，它们都指向同一个inode，说明这两个文件互为硬链接。inode结构体中保存着从磁盘分区的inode读上来信息，例如所有者、文件大小、文件类型和权限位等。每个inode结构体都有一个指向inode_operations结构体的指针，后者也是一组函数指针指向一些完成文件目录操作的内核函数。和file_operations不同，inode_operations所指向的不是针对某一个文件进行操作的函数，而是影响文件和目录布局的函数，例如添加删除文件和目录、跟踪符号链接等等，属于同一文件系统的各inode结构体可以指向同一个inode_operations结构体。

b、直接从硬盘中读取字节流

inode结构体有一个指向super_block结构体的指针。super_block结构体保存着从磁盘分区的超级块读上来的信息，例如文件系统类型、块大小等。super_block结构体的s_root成员是一个指向dentry的指针，表示这个文件系统的根目录被mount到哪里，在上图的例子中这个分区被mount到/home目录下。

file、dentry、inode、super_block这几个结构体组成了VFS的核心概念。对于ext2文件系统来说，在磁盘存储布局上也有inode和超级块的概念，所以很容易和VFS中的概念建立对应关系。而另外一些文件系统格式来自非UNIX系统（例如Windows的FAT32、NTFS），可能没有inode或超级块这样的概念，但为了能mount到Linux系统，也只好在驱动程序中硬凑一下，在Linux下看FAT32和NTFS分区会发现权限位是错的，所有文件都是rwxrwxrwx，因为它们本来就没有inode和权限位的概念，这是硬凑出来的。

最后列下文件描述符的函数：

open：打开一个文件，并指定访问该文件的方式，调用成功后返回《 一个文件描述符》。
creat：打开一个文件，如果该文件不存在，则创建它，调用成功后返回《  一个文件描述符》。
close：关闭文件，进程对文件所加的锁全都被释放。
read：从文件描述符对应的文件中读取数据，调用成功后返回《 读出的字节数》。
write：向文件描述符对应的文件中写入数据，调用成功后返回《 写入的字节数》。

ftruncate：把文件描述符对应的文件缩短到指定的长度，调用成功后返回《 0》。
lseek：在文件描述符对应的文件里把文件指针设定到指定的位置，调用成功后返回《 新指针的位置》。
fsync:将所有已写入文件中的数据真正写到磁盘或其他下层设备上，调用成功后返回《 0》。
fstat：返回文件描述符对应的文件的相关信息，把结果保存在struct stat中，调用成功后返回《 0》。
fchown：改变与打开文件相关联的所有者和所有组，调用成功后返回《 0》。
fchmod：把文件描述符对应的文件的权限位改为指定的八进制模式，调用成功后返回《 0》。
flock：用于向文件描述符对应的文件施加建议性锁，调用成功后返回《 0》。
fcntl：既能施加建议性锁也能施加强制性锁，能建立记录锁、读取锁和写入锁，调用成功后返回《 0》。
dup：复制文件描述符，返回《 没使用的文件描述符中最小的编号》。
dup2：由用户指定返回的《 文件描述符的值》，用来重新打开或重定向一个文件描述符。
select：同时从多个文件描述符读取数据或向多个文件描述符写入数据