【简记】Java Web 内幕——NIO,IO调优,IO设计模式
2017-07-08 16:31
696 查看
本章内容:
NIO介绍
非阻塞I/O, 阻塞I/O(https://www.zhihu.com/question/19732473)
同步异步I/O
I/O调优
IO类中的设计模式体现
2.4 NIO的工作方式
2.4.1 BIO带来的挑战
BIO 即阻塞l/O,一旦有阻塞,线程将会失去CPU 的使用权,这在当前的大规模访问量和有性能要求的情况下是不能被接受的。
虽然当前的网络 I/O 有一些解决办法,如一个客户端一个处理线程,出现阻塞时只是一个线程阻塞而不会影响其它线程工作,还有为了减少系统线程的开销,采用线程池的办法来减少线程创建和回收的成本,但是有一些使用场景仍然是无法解决的。如当前一些需要大量 HTTP 长连接的情况,像淘宝现在使用的 Web 旺旺项目,服务端需要同时保持几百万的 HTTP 连接,但是并不是每时每刻这些连接都在传输数据,这种情况下不可能同时创建这么多线程来保持连接。即使线程的数量不是问题,仍然有一些问题还是无法避免的。如这种情况,我们想给某些客户端更高的服务优先级,很难通过设计线程的优先级来完成,另外一种情况是,我们需要让每个客户端的请求在服务端可能需要访问一些竞争资源,由于这些客户端是在不同线程中,因此需要同步,而往往要实现这些同步操作要远远比用单线程复杂很多。以上这些情况都说明,我们需要另外一种新的 I/O 操作方式。
NIO的工作机制
NIO 引入了Channel 、Buffer 和Selector ,就是想把这些信息具体化, 让程序员有机会控制它们。如:当我们调用 write() 往 SendQ 写数据时,当一次写的数据超过 SendQ 长度是需要按照 SendQ 的长度进行分割,这个过程中需要有将用户空间数据和内核地址空间进行切换,而这个切换不是你可以控制的。而在 Buffer 中我们可以控制 Buffer 的 capacity,并且是否扩容以及如何扩容都可以控制。
(Channel 是汽车的话, Buffer就是汽车上的座位 ,Selector比作一个车站的车辆运行调度系统,它将负责监控每辆车的当前运行状态,是已经出站,还是在路上等)
使用上述方法,可以实现在单线程下处理多个事件。
简单的一个例子
在事件应用中,我们通常会把 一个线程专门负责监听客户端的连接请求,而且是以阻塞方式执行的;另外一个线程专门负责处理请求,这个专门处理请求的线程才会真正采用NIO的方式,像Web服务器Tomcat 和Jetty 都是使用这个处理方式。
关键的地方是,有一个线程来处理所有连接的数据交互,每个连接的数据交互都不是阻塞方式,所以可以同时处理大量的连接请求。
2.4.3 Buffer的工作方式
ByteBuffer. allocate(11):创建一个11个byte的数组缓冲区
buffer.flip():将缓存的数据写入channel信道
buffer.clear():清空buffer,回到初始状态
2.4.4 NIO的数据访问方式
NIO 提供了比传统的文件访问方式更好的方法
1 FileChannel.transferXXX
FileChannel的transferFrom()方法可以将数据从源通道传输到FileChannel中
2.5 I/O 调优
通常提升磁盘I/O性能的方法有:
增加缓存,减少磁盘访问次数。
优化磁盘的管理系统,设计最优的磁盘方式策略,以及磁盘的寻址策略,这是在底层操作系统层面考虑的。
设计合理的磁盘存储数据块,以及访问这些数据块的策略,这是在应用层面考虑的。例如,我们可以给存放的数据设计索引,通过寻址索引来加快和减少磁盘的访问量,还可以采用异步和非阻塞的方式加快磁盘的访问速度。
应用合理的RAID 策略提升磁盘I/O
TCP 网络参数调优:
网络I/O优化:
减少网络交互的次数:使用缓存;合并访问请求;将多个JS 文件合并在一个HTTP 链接中,每个文件用逗号隔开,然后发送到后端Web 服务器,根据这个URL 链接再拆分为各个文件,最后打包再一井退回给前端浏览器。
减少网络传输数据量的大小:压缩文件。
尽量减少编码:提前把字符转化成字节。
设计模式——适配器模式
就是把一个类的接口变换成客户端所能接受的另一种接口,从而使两个接口不匹配而无法在一起工作的两个类能够在一起工作。
InputStreamReader 和OutputStreamWriter 类分别继承了Reader 和Writer 接口,但是要创建它们的对象必须在构造函数中传入一个 InputStream 和 OutputStream 的实例。
InputStreamReader 和OutputStreamWriter 的作用也就是将InputStream 和OutputStream 适配到Reader 和Writer。
InputStreamReader 实现了Reader 接口, 并且持有了InputStream 的引用, 这里是通过StreamDecoder 类间接持有的,因为从byte 到char 要经过编码。
很显然, 适配器就是InputStreamReader 类,源角色就是InputStream 代表的实例对象,目标接口就是Reader 类。
在I/O类库中还有很多类似的用法, 如StringReader 将一个String 类适配到Reader 接口, ByteArraylnputStream 适配器将byte 数组适配到InputStream 流处理接口。
设计模式——装饰器模式
就是将某个类重新装扮一下,使得它比原来在功能上更强大。
装饰器与适配器模式都有一个别名就是包装模式(Wrapper) ,它们看似都是起到包装一个类或对象的作用,但是使用它们的目的很不一样。
适配器模式的意义是要将一个接口转变成另外一个接口,它的目的是通过改变接口来达到重复使用的目的;
而装饰器模式不是要改变被装饰对象的接口,而是恰恰要保持原有的接口,但是增强原有对象的功能,或者改变原有对象的处理方法而提升性能。所以这两个模式设计的目的是不同的。
NIO介绍
非阻塞I/O, 阻塞I/O(https://www.zhihu.com/question/19732473)
同步异步I/O
I/O调优
IO类中的设计模式体现
2.4 NIO的工作方式
2.4.1 BIO带来的挑战
BIO 即阻塞l/O,一旦有阻塞,线程将会失去CPU 的使用权,这在当前的大规模访问量和有性能要求的情况下是不能被接受的。
虽然当前的网络 I/O 有一些解决办法,如一个客户端一个处理线程,出现阻塞时只是一个线程阻塞而不会影响其它线程工作,还有为了减少系统线程的开销,采用线程池的办法来减少线程创建和回收的成本,但是有一些使用场景仍然是无法解决的。如当前一些需要大量 HTTP 长连接的情况,像淘宝现在使用的 Web 旺旺项目,服务端需要同时保持几百万的 HTTP 连接,但是并不是每时每刻这些连接都在传输数据,这种情况下不可能同时创建这么多线程来保持连接。即使线程的数量不是问题,仍然有一些问题还是无法避免的。如这种情况,我们想给某些客户端更高的服务优先级,很难通过设计线程的优先级来完成,另外一种情况是,我们需要让每个客户端的请求在服务端可能需要访问一些竞争资源,由于这些客户端是在不同线程中,因此需要同步,而往往要实现这些同步操作要远远比用单线程复杂很多。以上这些情况都说明,我们需要另外一种新的 I/O 操作方式。
NIO的工作机制
NIO 引入了Channel 、Buffer 和Selector ,就是想把这些信息具体化, 让程序员有机会控制它们。如:当我们调用 write() 往 SendQ 写数据时,当一次写的数据超过 SendQ 长度是需要按照 SendQ 的长度进行分割,这个过程中需要有将用户空间数据和内核地址空间进行切换,而这个切换不是你可以控制的。而在 Buffer 中我们可以控制 Buffer 的 capacity,并且是否扩容以及如何扩容都可以控制。
(Channel 是汽车的话, Buffer就是汽车上的座位 ,Selector比作一个车站的车辆运行调度系统,它将负责监控每辆车的当前运行状态,是已经出站,还是在路上等)
使用上述方法,可以实现在单线程下处理多个事件。
简单的一个例子
public void selector() throws IOException { ByteBuffer buffer = ByteBuffer.allocate(1024); Selector selector = Selector.open(); ServerSocketChannel ssc = ServerSocketChannel.open(); ssc.configureBlocking(false);//设置为非阻塞方式 ssc.socket().bind(new InetSocketAddress(8080)); ssc.register(selector, SelectionKey.OP_ACCEPT);//注册监听的事件 while (true) { Set selectedKeys = selector.selectedKeys();//取得所有key集合 Iterator it = selectedKeys.iterator(); while (it.hasNext()) { SelectionKey key = (SelectionKey) it.next(); if ((key.readyOps( 4000 ) & SelectionKey.OP_ACCEPT) == SelectionKey.OP_ACCEPT) { ServerSocketChannel ssChannel = (ServerSocketChannel) key.channel(); SocketChannel sc = ssChannel.accept();//接受到服务端的请求 sc.configureBlocking(false); sc.register(selector, SelectionKey.OP_READ); it.remove(); } else if ((key.readyOps() & SelectionKey.OP_READ) == SelectionKey.OP_READ) { SocketChannel sc = (SocketChannel) key.channel(); while (true) { buffer.clear(); int n = sc.read(buffer);//读取数据 if (n <= 0) { break; } buffer.flip(); } it.remove(); } } } }
在事件应用中,我们通常会把 一个线程专门负责监听客户端的连接请求,而且是以阻塞方式执行的;另外一个线程专门负责处理请求,这个专门处理请求的线程才会真正采用NIO的方式,像Web服务器Tomcat 和Jetty 都是使用这个处理方式。
关键的地方是,有一个线程来处理所有连接的数据交互,每个连接的数据交互都不是阻塞方式,所以可以同时处理大量的连接请求。
2.4.3 Buffer的工作方式
ByteBuffer. allocate(11):创建一个11个byte的数组缓冲区
buffer.flip():将缓存的数据写入channel信道
buffer.clear():清空buffer,回到初始状态
2.4.4 NIO的数据访问方式
NIO 提供了比传统的文件访问方式更好的方法
1 FileChannel.transferXXX
FileChannel的transferFrom()方法可以将数据从源通道传输到FileChannel中
2.5 I/O 调优
通常提升磁盘I/O性能的方法有:
增加缓存,减少磁盘访问次数。
优化磁盘的管理系统,设计最优的磁盘方式策略,以及磁盘的寻址策略,这是在底层操作系统层面考虑的。
设计合理的磁盘存储数据块,以及访问这些数据块的策略,这是在应用层面考虑的。例如,我们可以给存放的数据设计索引,通过寻址索引来加快和减少磁盘的访问量,还可以采用异步和非阻塞的方式加快磁盘的访问速度。
应用合理的RAID 策略提升磁盘I/O
TCP 网络参数调优:
网络I/O优化:
减少网络交互的次数:使用缓存;合并访问请求;将多个JS 文件合并在一个HTTP 链接中,每个文件用逗号隔开,然后发送到后端Web 服务器,根据这个URL 链接再拆分为各个文件,最后打包再一井退回给前端浏览器。
减少网络传输数据量的大小:压缩文件。
尽量减少编码:提前把字符转化成字节。
设计模式——适配器模式
就是把一个类的接口变换成客户端所能接受的另一种接口,从而使两个接口不匹配而无法在一起工作的两个类能够在一起工作。
InputStreamReader 和OutputStreamWriter 类分别继承了Reader 和Writer 接口,但是要创建它们的对象必须在构造函数中传入一个 InputStream 和 OutputStream 的实例。
InputStreamReader 和OutputStreamWriter 的作用也就是将InputStream 和OutputStream 适配到Reader 和Writer。
public InputStreamReader(InputStream in) {};
InputStreamReader 实现了Reader 接口, 并且持有了InputStream 的引用, 这里是通过StreamDecoder 类间接持有的,因为从byte 到char 要经过编码。
很显然, 适配器就是InputStreamReader 类,源角色就是InputStream 代表的实例对象,目标接口就是Reader 类。
在I/O类库中还有很多类似的用法, 如StringReader 将一个String 类适配到Reader 接口, ByteArraylnputStream 适配器将byte 数组适配到InputStream 流处理接口。
设计模式——装饰器模式
就是将某个类重新装扮一下,使得它比原来在功能上更强大。
装饰器与适配器模式都有一个别名就是包装模式(Wrapper) ,它们看似都是起到包装一个类或对象的作用,但是使用它们的目的很不一样。
适配器模式的意义是要将一个接口转变成另外一个接口,它的目的是通过改变接口来达到重复使用的目的;
而装饰器模式不是要改变被装饰对象的接口,而是恰恰要保持原有的接口,但是增强原有对象的功能,或者改变原有对象的处理方法而提升性能。所以这两个模式设计的目的是不同的。
相关文章推荐
- 【简记】Java Web 内幕——SpringMVC框架设计与模式
- 【《深入解析Java Web技术内幕》学习思维导图】第11章 Tomcat的系统架构与设计模式
- 【简记】Java Web 内幕——NIO例程
- 【《深入解析Java Web技术内幕》学习思维导图】第13章 Spring框架的设计理念与设计模式分析
- 【转】java io 流 设计模式
- Java IO 中的设计模式
- java IO之装饰设计模式
- JAVA IO 设计模式彻底分析
- JAVA IO 设计模式彻底分析
- Java IO设计模式
- 黑马程序员-JAVA高级视频_IO输入与输出-19天-5(装饰设计模式)
- JAVA IO 设计模式彻底分析
- Java IO详解(两种设计模式的分析)
- Java EE WEB工程师培训-JDBC+Servlet+JSP整合开发之09.JDBC DAO设计模式
- java web之设计模式和案例
- java IO体系之设计模式详解——01
- JAVA-WEB设计模式
- 我的Java开发学习之旅------>JAVA IO 设计模式彻底分析
- Java中的NIO非阻塞模式和传统的IO的阻塞模式在线程中的资源消耗
- java.io.*中的设计模式之 装饰(Decorator)模式