JDBC更新10W级以上数据性能优化
2013-12-27 10:24
127 查看
来源:http://www.cnblogs.com/duankaige/archive/2012/08/07/2626350.html
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password);
con.setAutoCommit(false);
Long startTime = System.currentTimeMillis();
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());
for (int i = 0; i < list.size(); i++) {
KIVResponseBean kivResponseBean=list.get(i);
pst.setString(1, kivResponseBean.getK());
pst.setString(2, kivResponseBean.getI());
pst.setInt(3, kivResponseBean.getV());
pst.setInt(4, kivResponseBean.getD());
pst.setString(5, kivResponseBean.getM());
pst.setString(6, kivResponseBean.getR());
pst.addBatch();
}
pst.executeBatch();
con.commit();
Long endTime = System.currentTimeMillis();
System.out.println("用时:" + (endTime - startTime));
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection con = (Connection) DriverManager.getConnection(url,user,password);
Long startTime = System.currentTimeMillis();
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());
for (int i = 0; i < list.size(); i++) {
KIVResponseBean kivResponseBean=list.get(i);
pst.setString(1, kivResponseBean.getK());
pst.setString(2, kivResponseBean.getI());
pst.setInt(3, kivResponseBean.getV());
pst.setInt(4, kivResponseBean.getD());
pst.setString(5, kivResponseBean.getM());
pst.setString(6, kivResponseBean.getR());
pst.executeUpdate();
}
Long endTime = System.currentTimeMillis();
System.out.println("用时:" + (endTime - startTime));
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection con = (Connection) DriverManager.getConnection(url,user,password);
con.setAutoCommit(false);
Long startTime = System.currentTimeMillis();
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());
int batchCount=list.size()/batchSize+1;
for(int batch=0;batch<batchCount;batch++) {
for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) {
KIVResponseBean kivResponseBean=list.get(i);
pst.setString(1, kivResponseBean.getK());
pst.setString(2, kivResponseBean.getI());
pst.setInt(3, kivResponseBean.getV());
pst.setInt(4, kivResponseBean.getD());
pst.setString(5, kivResponseBean.getM());
pst.setString(6, kivResponseBean.getR());
pst.addBatch();
}
pst.executeBatch();
con.commit();
pst.clearBatch();
}
Long endTime = System.currentTimeMillis();
System.out.println("用时:" + (endTime - startTime));
随笔缘由:
系统完成到一定程度,少不了要往数据库中添加大量数据进行性能测试。 我用程序做数据10W条,使用jdbc批更新的API,发现每次只能插入2W多条记录。 一番小小研究,觉得总结一下可能有些意义。
总结内容如下:
1:这是我出现问题的代码,插入10W条数据,10W次数据进行一次批处理,发现只能插入24464多条数据,程序也没有报错。
Connection con = (Connection) DriverManager.getConnection(url,user,password);
con.setAutoCommit(false);
Long startTime = System.currentTimeMillis();
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());
for (int i = 0; i < list.size(); i++) {
KIVResponseBean kivResponseBean=list.get(i);
pst.setString(1, kivResponseBean.getK());
pst.setString(2, kivResponseBean.getI());
pst.setInt(3, kivResponseBean.getV());
pst.setInt(4, kivResponseBean.getD());
pst.setString(5, kivResponseBean.getM());
pst.setString(6, kivResponseBean.getR());
pst.addBatch();
}
pst.executeBatch();
con.commit();
Long endTime = System.currentTimeMillis();
System.out.println("用时:" + (endTime - startTime));
2:在不使用批更新时,具体做法就是 不添加这句代码 con.setAutoCommit(false); 并且每次为SQL指定参数后就执行 pst.executeUpdate(); 提交数据;结果10W条记录插入成功,但是使用了 35833ms的时间消耗。
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection con = (Connection) DriverManager.getConnection(url,user,password);
Long startTime = System.currentTimeMillis();
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());
for (int i = 0; i < list.size(); i++) {
KIVResponseBean kivResponseBean=list.get(i);
pst.setString(1, kivResponseBean.getK());
pst.setString(2, kivResponseBean.getI());
pst.setInt(3, kivResponseBean.getV());
pst.setInt(4, kivResponseBean.getD());
pst.setString(5, kivResponseBean.getM());
pst.setString(6, kivResponseBean.getR());
pst.executeUpdate();
}
Long endTime = System.currentTimeMillis();
System.out.println("用时:" + (endTime - startTime));
3:使用批更新,并且制定没10000次提交一次更新,此时 使用时间 2980 ms ,10w条数据也批量添加成功,oracle对每次执行的批更新有限制,我在11g的环境下测试 在2W4K多,网上有朋友说在10g下 每次提交1W多数据就会报错。
Class.forName("oracle.jdbc.driver.OracleDriver");
Connection con = (Connection) DriverManager.getConnection(url,user,password);
con.setAutoCommit(false);
Long startTime = System.currentTimeMillis();
PreparedStatement pst = (PreparedStatement) con.prepareStatement(sql.toString());
int batchCount=list.size()/batchSize+1;
for(int batch=0;batch<batchCount;batch++) {
for (int i = batch*batchSize; (i <(batch+1)*batchSize)&&(i<list.size()); i++) {
KIVResponseBean kivResponseBean=list.get(i);
pst.setString(1, kivResponseBean.getK());
pst.setString(2, kivResponseBean.getI());
pst.setInt(3, kivResponseBean.getV());
pst.setInt(4, kivResponseBean.getD());
pst.setString(5, kivResponseBean.getM());
pst.setString(6, kivResponseBean.getR());
pst.addBatch();
}
pst.executeBatch();
con.commit();
pst.clearBatch();
}
Long endTime = System.currentTimeMillis();
System.out.println("用时:" + (endTime - startTime));
相关文章推荐
- JDBC更新10W级以上数据性能优化
- JDBC更新10W级以上数据性能优化
- Java - 使用JDBC操作数据库时,如何提升读取数据的性能?如何提升更新数据的性能?
- mysql批量更新数据(性能优化)
- FMDB性能优化问题。使用FMDB事务批量更新数据库速度问题。(亲测可以呀---740条数据用和不用事务效率差别20倍+)
- 转载--批量更新数据(性能优化)
- 从文件导数据到数据库的性能优化思路(笔记)
- 数据仓库中的SQL性能优化(Hive篇)
- MySQL单表百万数据记录分页性能优化
- JDBC学习笔记-----jdbc性能优化
- jmeter 性能测试 JDBC Request (查询数据库获取数据库数据) 的使用
- 深入浅出数据仓库中SQL性能优化之Hive篇
- 大数据应用之HBase数据插入性能优化之多线程并行插入测试案例
- Spark性能优化:数据倾斜调优
- 【SQL Server性能优化】删除大量数据的方法比较
- JDBC性能优化
- 高性能Javascript笔记 数据的存储与访问性能优化
- 三、Spark性能优化:数据倾斜调优
- jdbc学习笔记-----jdbc性能优化
- Asp.Net 网站性能优化 缓字决 (上) 缓冲写数据