Java程序优化的一些最佳实践
2017-08-15 16:09
344 查看
转载地址:http://blog.csdn.net/ccecwg/article/details/24128499
一、衡量程序的标准
衡量一个程序是否优质,可以从多个角度进行分析。其中,最常见的衡量标准是程序的时间复杂度、空间复杂度,以及代码的可读性、可扩展性。针对程序的时间复杂度和空间复杂度,想要优化程序代码,需要对数据结构与算法有深入的理解,并且熟悉计算机系统的基本概念和原理;而针对代码的可读性和可扩展性,想要优化程序代码,需要深入理解软件架构设计,熟知并会应用合适的设计模式。
首先,如今计算机系统的存储空间已经足够大了,达到了TB级别,因此相比于空间复杂度,时间复杂度是程序员首要考虑的因素。为了追求高性能,在某些频繁操作执行时,甚至可以考虑用空间换取时间
其次,由于受到处理器制造工艺的物理限制、成本限制,CPU主频的增长遇到了瓶颈,摩尔定律已渐渐失效,每隔18个月CPU主频即翻倍的时代已经过去了,程序员的编程方式发生了彻底的改变。在目前这个多核多处理器的时代,涌现了原生支持多线程的语言(如Java)以及分布式并行计算框架(如Hadoop)。为了使程序充分地利用多核CPU,简单地实现一个单线程的程序是远远不够的,程序员需要能够编写出并发或者并行的多线程程序。
最后,大型软件系统的代码行数达到了百万级,如果没有一个设计良好的软件架构,想在已有代码的基础上进行开发,开发代价和维护成本是无法想象的。一个设计良好的软件应该具有可读性和可扩展性,遵循“开闭原则”、“依赖倒置原则”、“面向接口编程”等。
二、项目介绍
本文将介绍笔者经历的一个项目中的一部分,通过这个实例剖析代码优化的过程。下面简要地介绍该系统的相关部分。
该系统的开发语言为Java,部署在共拥有4核CPU的Linux服务器上,相关部分主要有以下操作:通过某外部系统D提供的RESTAPI
获取信息,从中提取出有效的信息,并通过JDBC存储到某数据库系统S中,供系统其他部分使用,上述操作的执行频率为每天一次,一般在午夜当系统空闲时定时执行。为了实现高可用性(HighAvailability),外部系统D部署在两台服务器上,因此需要分别从这两台服务器上获取信息并将信息插入数据库中,有效信息的条数达到了上千条,数据库插入操作次数则为有效信息条数的两倍。
图1.系统体系结构图
为了快速地实现预期效果,在最初的实现中优先考虑了功能的实现,而未考虑系统性能和代码可读性等。系统大致有以下的实现:
RESTAPI获取信息、数据库操作可能抛出的异常信息都被记录到日志文件中,作为调试用;
共有5次数据库连接操作,包括第一次清空数据库表,针对两个外部系统D各有两次数据库插入操作,这5个连接都是独立的,用完之后即释放;
所有的数据库插入语句都是使用java.sql.Statement类生成的;
所有的数据库插入语句,都是单条执行的,即生成一条执行一条;
整个过程都是在单个线程中执行的,包括数据库表清空操作,数据库插入操作,释放数据库连接;
数据库插入操作的JDBC代码散布在代码中。虽然这个版本的系统可以正常运行,达到了预期的效果,但是效率很低,从通过RESTAPI获取信息,到解析并提取有效信息,再到数据库插入操作,总共耗时100秒左右。而预期的时间应该在一分钟以内,这显然是不符合要求的。
三、代码优化过程
笔者开始分析整个过程有哪些耗时操作,以及如何提升效率,缩短程序执行的时间。通过RESTAPI获取信息,因为是使用外部系统提供的API,所以无法在此处提升效率;取得信息之后解析出有效部分,因为是对特定格式的信息进行解析,所以也无效率提升的空间。所以,效率可以大幅度提升的空间在数据库操作部分以及程序控制部分。下面,分条叙述对耗时操作的改进方法。
1.针对日志记录的优化
关闭日志记录,或者更改日志输出级别。因为从两台服务器的外部系统
D上获取到的信息是相同的,所以数据库插入操作会抛出异常,异常信息类似于“Attempttoinsertduplicaterecord”,这样的异常信息跟有效信息的条数相等,有上千条。这种情况是能预料到的,所以可以考虑关闭日志记录,或者不关闭日志记录而是更改日志输出级别,只记录严重级别(severelevel)的错误信息,并将此类操作的日志级别调整为警告级别(warninglevel),这样就不会记录以上异常信息了。本项目使用的是Java自带的日志记录类,以下配置文件将日志输出级别设置为严重级别。
清单1.log.properties设置日志输出级别的片段
通过上述的优化之后,性能有了大幅度的提升,从原来的100秒左右降到了50秒左右。为什么仅仅不记录日志就能有如此大幅度的性能提升呢?查阅资料,发现已经有人做了相关的研究与实验。经常听到Java程序比C/C++程序慢的言论,但是运行速度慢的真正原因是什么,估计很多人并不清楚。对于
CPU密集型的程序(即程序中包含大量计算),Java程序可以达到C/C++程序同等级别的速度,但是对于I/O密集型的程序(即程序中包含大量I/O操作),Java程序的速度就远远慢于C/C++程序了,很大程度上是因为C/C++程序能直接访问底层的存储设备。因此,不记录日志而得到大幅度性能提升的原因是,Java程序的I/O操作较慢,是一个很耗时的操作。
2.针对数据库连接的优化
共享数据库连接。共有5次数据库连接操作,每次都需重新建立数据库连接,数据库插入操作完成之后又立即释放了,数据库连接没有被复用。为了做到共享数据库连接,可以通过单例模式(SingletonPattern)获得一个相同的数据库连接,每次数据库连接操作都共享这个数据库连接。这里没有使用数据库连接池(Database
ConnectionPool)是因为在程序只有少量的数据库连接操作,只有在大量并发数据库连接的时候才需要连接池。
清单2.共享数据库连接的代码片段
通过上述的优化之后,性能有了小幅度的提升,从50秒左右降到了40秒左右。共享数据库连接而得到的性能提升的原因是,数据库连接是一个耗时耗资源的操作,需要同远程计算机进行网络通信,建立TCP连接,还需要维护连接状态表,建立数据缓冲区。如果共享数据库连接,则只需要进行一次数据库连接操作,省去了多次重新建立数据库连接的时间。
3.针对插入数据库记录的优化-1
使用预编译SQL。具体做法是使用
java.sql.PreparedStatement代替java.sql.Statement生成SQL语句。PreparedStatement使得数据库预先编译好SQL语句,可以传入参数。而Statement生成的SQL语句在每次提交时,数据库都需进行编译。在执行大量类似的SQL语句时,可以使用PreparedStatement提高执行效率。使用PreparedStatement的另一个好处是不需要拼接SQL语句,代码的可读性更强。通过上述的优化之后,性能有了小幅度的提升,从
40秒左右降到了30~35秒左右。
清单3.使用Statement的代码片段
清单4.使用PreparedStatement的代码片段
4.针对插入数据库记录的优化-2
使用SQL批处理。通过java.sql.PreparedStatement的addBatch方法将SQL语句加入到批处理,这样在调用execute方法时,就会一次性地执行SQL批处理,而不是逐条执行。通过上述的优化之后,性能有了小幅度的提升,从30~35
秒左右降到了30秒左右。
5.针对多线程的优化
使用多线程实现并发/并行。清空数据库表的操作、把从2个外部系统D取得的数据插入数据库记录的操作,是相互独立的任务,可以给每个任务分配一个线程执行。清空数据库表的操作应该先于数据库插入操作完成,可以通过java.lang.Thread类的join方法控制线程执行的先后次序。在单核
CPU时代,操作系统中某一时刻只有一个线程在运行,通过进程/线程调度,给每个线程分配一小段执行的时间片,可以实现多个进程/线程的并发(concurrent)执行。而在目前的多核多处理器背景下,操作系统中同一时刻可以有多个线程并行(parallel)执行,大大地提高了计算速度。
清单5.使用多线程的代码片段
通过上述的优化之后,性能有了大幅度的提升,从30秒左右降到了15秒以下,10~15秒之间。使用多线程而得到的性能提升的原因是,系统部署所在的服务器是多核多处理器的,使用多线程,给每个任务分配一个线程执行,可以充分地利用CPU计算资源。
笔者试着给每个任务分配两个线程执行,希望能使程序运行得更快,但是事与愿违,此时程序运行的时间反而比每个任务分配一个线程执行的慢,大约20秒。笔者推测,这是因为线程较多(相对于CPU的内核数),使得CPU忙于线程的上下文切换,过多的线程上下文切换使得程序的性能反而不如之前。因此,要根据实际的硬件环境,给任务分配适量的线程执行。
6.针对设计模式的优化
使用DAO模式抽象出数据访问层。原来的代码中混杂着JDBC操作数据库的代码,代码结构显得十分凌乱。使用DAO模式(DataAccessObjectPattern)可以抽象出数据访问层,这样使得程序可以独立于不同的数据库,即便访问数据库的代码发生了改变,上层调用数据访问的代码无需改变。并且程
序员可以摆脱单调繁琐的数据库代码的编写,专注于业务逻辑层面的代码的开发。通过上述的优化之后,性能并未有提升,但是代码的可读性、可扩展性大大地提高了。
图2.DAO模式的层次结构
清单6.使用DAO模式的代码片段
回顾以上代码优化过程:关闭日志记录、共享数据库连接、使用预编译SQL、使用SQL批处理、使用多线程实现并发/并行、使用DAO模式抽象出数据访问层,程序运行时间从最初的100秒左右降低到15秒以下,在性能上得到了很大的提升,同时也具有了更好的可读性和可扩展性。
四、结束语
通过该项目实例,笔者深深地感到,想要写出一个性能优化、可读性可扩展性强的程序,需要对计算机系统的基本概念、原理,编程语言的特性,软件系统架构设计都有较深入的理解。“纸上得来终觉浅,绝知此事要躬行”,想要将这些基本理论、编程技巧融会贯通,还需要不断地实践,并总结心得体会。
一、衡量程序的标准
衡量一个程序是否优质,可以从多个角度进行分析。其中,最常见的衡量标准是程序的时间复杂度、空间复杂度,以及代码的可读性、可扩展性。针对程序的时间复杂度和空间复杂度,想要优化程序代码,需要对数据结构与算法有深入的理解,并且熟悉计算机系统的基本概念和原理;而针对代码的可读性和可扩展性,想要优化程序代码,需要深入理解软件架构设计,熟知并会应用合适的设计模式。
首先,如今计算机系统的存储空间已经足够大了,达到了TB级别,因此相比于空间复杂度,时间复杂度是程序员首要考虑的因素。为了追求高性能,在某些频繁操作执行时,甚至可以考虑用空间换取时间
其次,由于受到处理器制造工艺的物理限制、成本限制,CPU主频的增长遇到了瓶颈,摩尔定律已渐渐失效,每隔18个月CPU主频即翻倍的时代已经过去了,程序员的编程方式发生了彻底的改变。在目前这个多核多处理器的时代,涌现了原生支持多线程的语言(如Java)以及分布式并行计算框架(如Hadoop)。为了使程序充分地利用多核CPU,简单地实现一个单线程的程序是远远不够的,程序员需要能够编写出并发或者并行的多线程程序。
最后,大型软件系统的代码行数达到了百万级,如果没有一个设计良好的软件架构,想在已有代码的基础上进行开发,开发代价和维护成本是无法想象的。一个设计良好的软件应该具有可读性和可扩展性,遵循“开闭原则”、“依赖倒置原则”、“面向接口编程”等。
二、项目介绍
本文将介绍笔者经历的一个项目中的一部分,通过这个实例剖析代码优化的过程。下面简要地介绍该系统的相关部分。
该系统的开发语言为Java,部署在共拥有4核CPU的Linux服务器上,相关部分主要有以下操作:通过某外部系统D提供的RESTAPI
获取信息,从中提取出有效的信息,并通过JDBC存储到某数据库系统S中,供系统其他部分使用,上述操作的执行频率为每天一次,一般在午夜当系统空闲时定时执行。为了实现高可用性(HighAvailability),外部系统D部署在两台服务器上,因此需要分别从这两台服务器上获取信息并将信息插入数据库中,有效信息的条数达到了上千条,数据库插入操作次数则为有效信息条数的两倍。
图1.系统体系结构图
为了快速地实现预期效果,在最初的实现中优先考虑了功能的实现,而未考虑系统性能和代码可读性等。系统大致有以下的实现:
RESTAPI获取信息、数据库操作可能抛出的异常信息都被记录到日志文件中,作为调试用;
共有5次数据库连接操作,包括第一次清空数据库表,针对两个外部系统D各有两次数据库插入操作,这5个连接都是独立的,用完之后即释放;
所有的数据库插入语句都是使用java.sql.Statement类生成的;
所有的数据库插入语句,都是单条执行的,即生成一条执行一条;
整个过程都是在单个线程中执行的,包括数据库表清空操作,数据库插入操作,释放数据库连接;
数据库插入操作的JDBC代码散布在代码中。虽然这个版本的系统可以正常运行,达到了预期的效果,但是效率很低,从通过RESTAPI获取信息,到解析并提取有效信息,再到数据库插入操作,总共耗时100秒左右。而预期的时间应该在一分钟以内,这显然是不符合要求的。
三、代码优化过程
笔者开始分析整个过程有哪些耗时操作,以及如何提升效率,缩短程序执行的时间。通过RESTAPI获取信息,因为是使用外部系统提供的API,所以无法在此处提升效率;取得信息之后解析出有效部分,因为是对特定格式的信息进行解析,所以也无效率提升的空间。所以,效率可以大幅度提升的空间在数据库操作部分以及程序控制部分。下面,分条叙述对耗时操作的改进方法。
1.针对日志记录的优化
关闭日志记录,或者更改日志输出级别。因为从两台服务器的外部系统
D上获取到的信息是相同的,所以数据库插入操作会抛出异常,异常信息类似于“Attempttoinsertduplicaterecord”,这样的异常信息跟有效信息的条数相等,有上千条。这种情况是能预料到的,所以可以考虑关闭日志记录,或者不关闭日志记录而是更改日志输出级别,只记录严重级别(severelevel)的错误信息,并将此类操作的日志级别调整为警告级别(warninglevel),这样就不会记录以上异常信息了。本项目使用的是Java自带的日志记录类,以下配置文件将日志输出级别设置为严重级别。
清单1.log.properties设置日志输出级别的片段
1 | # default file outputisinuser’shomedirectory. |
2 | # |
3 | java.util.logging.ConsoleHandler.level=SEVERE |
4 | java.util.logging.FileHandler.formatter=java.util.logging.SimpleFormatter |
5 | java.util.logging.FileHandler.append= true |
CPU密集型的程序(即程序中包含大量计算),Java程序可以达到C/C++程序同等级别的速度,但是对于I/O密集型的程序(即程序中包含大量I/O操作),Java程序的速度就远远慢于C/C++程序了,很大程度上是因为C/C++程序能直接访问底层的存储设备。因此,不记录日志而得到大幅度性能提升的原因是,Java程序的I/O操作较慢,是一个很耗时的操作。
2.针对数据库连接的优化
共享数据库连接。共有5次数据库连接操作,每次都需重新建立数据库连接,数据库插入操作完成之后又立即释放了,数据库连接没有被复用。为了做到共享数据库连接,可以通过单例模式(SingletonPattern)获得一个相同的数据库连接,每次数据库连接操作都共享这个数据库连接。这里没有使用数据库连接池(Database
ConnectionPool)是因为在程序只有少量的数据库连接操作,只有在大量并发数据库连接的时候才需要连接池。
清单2.共享数据库连接的代码片段
01 | public class JdbcUtil |
02 | private static Connection |
03 | // |
04 | private static String |
05 | private static String |
06 | private static String |
07 | private static String |
08 | private static String |
09 | private static Properties new Properties(); |
10 |
11 | static { |
12 | // |
13 | try { |
14 | Class.forName(driverClassName); |
15 | } catch (ClassNotFoundException |
16 | e.printStackTrace(); |
17 | } |
18 | properties.setProperty( "user" , |
19 | properties.setProperty( "password" , |
20 | properties.setProperty( "currentSchema" , |
21 | try { |
22 | con |
23 | } catch (SQLException |
24 | e.printStackTrace(); |
25 | } |
26 | } |
27 | private JdbcUtil() |
28 | // |
29 | public static Connection |
30 | return con; |
31 | } |
32 | public static void close() throws SQLException |
33 | if (con null ) |
34 | con.close(); |
35 | } |
36 | } |
3.针对插入数据库记录的优化-1
使用预编译SQL。具体做法是使用
java.sql.PreparedStatement代替java.sql.Statement生成SQL语句。PreparedStatement使得数据库预先编译好SQL语句,可以传入参数。而Statement生成的SQL语句在每次提交时,数据库都需进行编译。在执行大量类似的SQL语句时,可以使用PreparedStatement提高执行效率。使用PreparedStatement的另一个好处是不需要拼接SQL语句,代码的可读性更强。通过上述的优化之后,性能有了小幅度的提升,从
40秒左右降到了30~35秒左右。
清单3.使用Statement的代码片段
01 | // |
02 | StringBuilder new StringBuilder(); |
03 | sql.append( "insert ); |
04 | sql.append(column1Value); |
05 | sql.append( "','" ); |
06 | sql.append(column2Value); |
07 | sql.append( "');" ); |
08 | Statement |
09 | try { |
10 | st |
11 | st.executeUpdate(sql.toString()); |
12 | } catch (SQLException |
13 | e.printStackTrace(); |
14 | } |
1 | // |
2 | String |
3 | PreparedStatement |
4 | pst.setString( 1 ,column1Value); |
5 | pst.setString( 2 ,column2Value); |
6 | pst.execute(); |
使用SQL批处理。通过java.sql.PreparedStatement的addBatch方法将SQL语句加入到批处理,这样在调用execute方法时,就会一次性地执行SQL批处理,而不是逐条执行。通过上述的优化之后,性能有了小幅度的提升,从30~35
秒左右降到了30秒左右。
5.针对多线程的优化
使用多线程实现并发/并行。清空数据库表的操作、把从2个外部系统D取得的数据插入数据库记录的操作,是相互独立的任务,可以给每个任务分配一个线程执行。清空数据库表的操作应该先于数据库插入操作完成,可以通过java.lang.Thread类的join方法控制线程执行的先后次序。在单核
CPU时代,操作系统中某一时刻只有一个线程在运行,通过进程/线程调度,给每个线程分配一小段执行的时间片,可以实现多个进程/线程的并发(concurrent)执行。而在目前的多核多处理器背景下,操作系统中同一时刻可以有多个线程并行(parallel)执行,大大地提高了计算速度。
清单5.使用多线程的代码片段
01 | Thread new Thread( new ClearTableTask()); |
02 | Thread new Thread( new StoreServersTask(ADDRESS1)); |
03 | Thread new Thread( new StoreServersTask(ADDRESS2)); |
04 |
05 | try { |
06 | t0.start(); |
07 | // |
08 | t0.join(); |
09 | t1.start(); |
10 | t2.start(); |
11 | t1.join(); |
12 | t2.join(); |
13 | } catch (InterruptedException |
14 | e.printStackTrace(); |
15 | } |
16 |
17 | // |
18 | try { |
19 | JdbcUtil.close(); |
20 | } catch (SQLException |
21 | e.printStackTrace(); |
22 | } |
笔者试着给每个任务分配两个线程执行,希望能使程序运行得更快,但是事与愿违,此时程序运行的时间反而比每个任务分配一个线程执行的慢,大约20秒。笔者推测,这是因为线程较多(相对于CPU的内核数),使得CPU忙于线程的上下文切换,过多的线程上下文切换使得程序的性能反而不如之前。因此,要根据实际的硬件环境,给任务分配适量的线程执行。
6.针对设计模式的优化
使用DAO模式抽象出数据访问层。原来的代码中混杂着JDBC操作数据库的代码,代码结构显得十分凌乱。使用DAO模式(DataAccessObjectPattern)可以抽象出数据访问层,这样使得程序可以独立于不同的数据库,即便访问数据库的代码发生了改变,上层调用数据访问的代码无需改变。并且程
序员可以摆脱单调繁琐的数据库代码的编写,专注于业务逻辑层面的代码的开发。通过上述的优化之后,性能并未有提升,但是代码的可读性、可扩展性大大地提高了。
图2.DAO模式的层次结构
清单6.使用DAO模式的代码片段
01 | // |
02 | public interface DeviceDAO |
03 | public void add(Device |
04 | } |
05 |
06 | // |
07 | public class DeviceDAOImpl implements DeviceDAO |
08 | private Connection |
09 | public DeviceDAOImpl() |
10 | // |
11 | } |
12 | @Override |
13 | public void add(Device |
14 | // |
15 | } |
16 | } |
四、结束语
通过该项目实例,笔者深深地感到,想要写出一个性能优化、可读性可扩展性强的程序,需要对计算机系统的基本概念、原理,编程语言的特性,软件系统架构设计都有较深入的理解。“纸上得来终觉浅,绝知此事要躬行”,想要将这些基本理论、编程技巧融会贯通,还需要不断地实践,并总结心得体会。
相关文章推荐
- Java程序优化的一些最佳实践
- Java 程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- 代码程序Java 程序优化的一些最佳实践Strut2教程-java教程
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java 程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java 程序优化的一些最佳实践
- 提升性能 Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- 提升性能 Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践
- Java程序优化的一些最佳实践