jdbc批量插入实现大批量数据快速插入
2014-03-03 16:26
169 查看
摘要: 在执行大批量数据插入时,可采用jdbc的批量插入,简单好用。在插入65536条excel数据时,只用了15秒钟时间。
今天在做一个将excel数据导入数据库的程序时,由于数据量大,准备采用jdbc的批量插入。于是用了preparedStatement.addBatch();当加入1w条数据时,再执行插入操作,preparedStatement.executeBatch()。我原以为这样会很快,结果插入65536条数据一共花30多分钟,完全出乎我的意料。于是问了一下同事,他们在处理这种大批量数据导入的时候是如何处理的,发现他们也是用的jdbc批量插入处理,但与我不同是:他们使用了con.setAutoCommit(false);然后再preparedStatement.executeBatch()之后,再执行con.commit();于是再试,什么叫奇迹?就是刚刚导入这些数据花了半小时,而加了这两句话之后,现在只用了15秒钟就完成了。于是去查查了原因,在网上发现了如下一段说明:
* When importing data into InnoDB, make sure that MySQL does not have autocommit mode enabled because that
requires a log flush to disk for every insert. To disable autocommit during your import operation, surround it with
SET autocommit and COMMIT statements:
SET autocommit=0;
... SQL import statements ...
COMMIT;
第一次,正是因为没有setAutoCommit(false);那么对于每一条insert语句,都会产生一条log写入磁盘,所以虽然设置了批量插入,但其效果就像单条插入一样,导致插入速度十分缓慢。
部分代码如下:
今天在做一个将excel数据导入数据库的程序时,由于数据量大,准备采用jdbc的批量插入。于是用了preparedStatement.addBatch();当加入1w条数据时,再执行插入操作,preparedStatement.executeBatch()。我原以为这样会很快,结果插入65536条数据一共花30多分钟,完全出乎我的意料。于是问了一下同事,他们在处理这种大批量数据导入的时候是如何处理的,发现他们也是用的jdbc批量插入处理,但与我不同是:他们使用了con.setAutoCommit(false);然后再preparedStatement.executeBatch()之后,再执行con.commit();于是再试,什么叫奇迹?就是刚刚导入这些数据花了半小时,而加了这两句话之后,现在只用了15秒钟就完成了。于是去查查了原因,在网上发现了如下一段说明:
* When importing data into InnoDB, make sure that MySQL does not have autocommit mode enabled because that
requires a log flush to disk for every insert. To disable autocommit during your import operation, surround it with
SET autocommit and COMMIT statements:
SET autocommit=0;
... SQL import statements ...
COMMIT;
第一次,正是因为没有setAutoCommit(false);那么对于每一条insert语句,都会产生一条log写入磁盘,所以虽然设置了批量插入,但其效果就像单条插入一样,导致插入速度十分缓慢。
部分代码如下:
String sql = "insert into table *****"; con.setAutoCommit(false); ps = con.prepareStatement(sql); for(int i=1; i<65536; i++){ ps.addBatch(); // 1w条记录插入一次 if (i % 10000 == 0){ ps.executeBatch(); con.commit(); } } // 最后插入不足1w条的数据 ps.executeBatch(); con.commit();
相关文章推荐
- jdbc批量插入实现大批量数据快速插入
- jdbc批量插入实现大批量数据快速插入
- jdbc批量插入实现大批量数据快速插入
- C#+“外部表”实现Oracle数据快速插入
- 深入理解游标Cursors,实现数据的快速查找,插入,删除,更新(转)
- arcengine,深入理解游标Cursors,实现数据的快速查找,插入,删除,更新
- java实现jdbc批量插入数据
- arcengine,深入理解游标Cursors,实现数据的快速查找,插入,删除,更新 (转)
- SqlBulkCopy实现大容量数据快速插入数据库中
- php快速插入大批量数据到Sqlite3
- MySQL快速插入大批量数据存储过程
- 用Windows的文件映射机制,实现大批量数据的快速存储
- Oracle 快速插入1000万条数据的实现方式
- 深入理解游标Cursors,实现数据的快速查找,插入,删除,更新
- oracle之数据同步:Oracle Sql Loader使用说明(大批量快速插入数据库记录)
- arcengine,深入理解游标Cursors,实现数据的快速查找,插入,删除,更新
- C#+“外部表”实现Oracle数据快速插入
- 大批量快速插入数据方法
- 用Windows的文件映射机制,实现大批量数据的快速存储
- Java实现Mybatis将数据批量插入到Oracle数据库