Java使用SQLServerBulkCopy实现数据库批量操作

摘要: Java实现SqlServer数据库的快速插入

Microsoft SQL Server 的bcp命令可以快速将大型文件复制插入到数据库中，C#提供了SqlBulkCopy方法实现该功能，而在java中可以通过SQLServerBulkCopy类实现类似的功能，且相对于insert、update等命令来说，这个类的效率要高的多。（对比常用的JDBC的Batch方法也高的多）。

SQLServerBulkCopy类只能用于对SQL Sever数据库的插入，但是数据来源可以不是SQL Sever数据库。旧版的Microsoft SQL Server JDBC 驱动并没有提供这个类，需要下载Microsoft SQL Server JDBC 驱动程序 6.0版本：https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=11774。MS官方的说明文档在这个地址：https://docs.microsoft.com/en-us/sql/connect/jdbc/using-bulk-copy-with-the-jdbc-driver。

SQLServerBulKCopy类向数据库插入数据支持三种类型封装的数据：Java本身提供的ResultSet、RowSet和JDBC提供的ISQLServerBulkRecord接口实现类。下面提供一种实现：

/**
* 获取空的CachedRowSet对象
* 其中BaseDao为最常见的JDBC操作,这里就不贴出,相信大家看的懂
* @throws SQLException
*/
public CachedRowSetImpl getCachedRowSet() throws SQLException{
//查询出空值用于构建CachedRowSetImpl对象以省去列映射的步骤
ResultSet rs = baseDao.executeSQL("select * from FactMonthTimeTable where 1=0");
CachedRowSetImpl crs = new CachedRowSetImpl();
crs.populate(rs);
//获取crs以后关闭数据库连接
baseDao.closeResource();
return crs;
}

/**
* 向CachedRowSet对象插入一条数据
* 循环调用这一个方法，将想插入数据库的数据先插入到CachedRowSet对象里
* @param crs
* @param fmt
* @return
* @throws SQLException
*/
public CachedRowSetImpl insertIntoCachedRowSet(CachedRowSetImpl crs,Student stu) throws SQLException{
//移动指针到“插入行”，插入行是一个虚拟行
crs.moveToInsertRow();
//更新虚拟行的数据
crs.updateString("name", stu.getName());
crs.updateInt("id", stu.getId());
//插入虚拟行
crs.insertRow();
//移动指针到当前行
crs.moveToCurrentRow();
return crs;
}

/**
* 使用BulkCopy和RowSet进行批量插入
* @param crs
* @param batchSize
*/
public void insertBatch(CachedRowSetImpl crs,int batchSize)throws SQLException{
//数据库连接字符串
String url = "jdbc:sqlserver://localhost:1433;DatabaseName=datebaseName"
+";user=userName;password=userPassword";
SQLServerBulkCopyOptions copyOptions = new SQLServerBulkCopyOptions();
copyOptions.setKeepIdentity(true);
copyOptions.setBatchSize(8000);
copyOptions.setUseInternalTransaction(true);
SQLServerBulkCopy bulkCopy =
new SQLServerBulkCopy(connectionUrl);
bulkCopy.setBulkCopyOptions(copyOptions);
bulkCopy.setDestinationTableName("tableName");
bulkCopy.writeToServer(crs);
crs.close();
bulkCopy.close();
}