记录最近定位的性能问题
2015-06-11 23:08
274 查看
最近定位了关于数据库相关的性能问题,模块A生成的文件过快导致数据无法及时入库的问题
在整个过程中主要吸取了如下经验:
【1】for循环的次数不能太多,否则再小的运算时间也会成倍增长
【2】对数据库的操作 批量插入时,一定要使用COPY FROM语句,它比你想象的快很多,
一个50列指标,插入24W数据,用了18s
【3】如果可以,在【2】中尽量把可以合并到一次插入的数据合并到一个文件中。
【4】如果一个枚举特别大的话,请不要轻易使用VAlues方法然后再一个大的循环里面遍历。
【5】DBCP+ pool的连接池实现,如果CPU较慢时,那么会有大量的对象处于正在构建中。
整个连接池的代码集中在:org.apache.commons.pool.impl.GenericObjectPool.borrowObject() 这个方法。
active + interprocess = all
【6】定位性能问题,常见的工具:
(1)visualvm + jmx
(2)CPU 分析也可以用visualvm
(3)visualvm导出的线程堆栈可以用eclipse的 memory analyzer 打开。
(4)当visualvm无法导出堆时,可以试下jconsole,里面的MBEAN,com.sun.hotspot里面有个操作时dumpheap
在整个过程中主要吸取了如下经验:
【1】for循环的次数不能太多,否则再小的运算时间也会成倍增长
【2】对数据库的操作 批量插入时,一定要使用COPY FROM语句,它比你想象的快很多,
一个50列指标,插入24W数据,用了18s
【3】如果可以,在【2】中尽量把可以合并到一次插入的数据合并到一个文件中。
【4】如果一个枚举特别大的话,请不要轻易使用VAlues方法然后再一个大的循环里面遍历。
【5】DBCP+ pool的连接池实现,如果CPU较慢时,那么会有大量的对象处于正在构建中。
整个连接池的代码集中在:org.apache.commons.pool.impl.GenericObjectPool.borrowObject() 这个方法。
active + interprocess = all
【6】定位性能问题,常见的工具:
(1)visualvm + jmx
(2)CPU 分析也可以用visualvm
(3)visualvm导出的线程堆栈可以用eclipse的 memory analyzer 打开。
(4)当visualvm无法导出堆时,可以试下jconsole,里面的MBEAN,com.sun.hotspot里面有个操作时dumpheap
相关文章推荐
- Spring2.5与JDK8的集成问题
- android编写Service入门
- android中使用Cursor时防止内存泄露的几个方面
- armv7 armv64 armv7s x86_64 i386
- Linux root用户基本操作
- Hibernate2
- 黑马程序员_91_正则表达式
- JSP 基本语法
- XenApp_XenDesktop_7.6实战篇之五:组织单元、用户(组)、权限规划及配置
- 百度地图API制作自定义的放大缩小控件ZoomControlView
- DuiVision开发教程(18)-弹出窗
- 没有html、head、body的页面
- 2015061110 - 我为什么离开百度?
- 栈的应用---后缀运算法则
- 上课笔记第二十九天、mysql、mysql编译安装及组成、客户端、变量和类型
- Cookie/Session机制详解
- Spring启动后执行
- boost源码剖析之:多重回调机制signal(下)
- Git指南
- 如何提高代码质量