高效能,大数据量存储方案SqlBulkCopy
2016-07-04 11:25
288 查看
前些日子,公司要求做一个数据导入程序,要求将Excel数据,大批量的导入到数据库中,尽量少的访问数据库,高性能的对数据库进行存储。于是在网上进行查找,发现了一个比较好的解决方案,就是采用SqlBulkCopy来处理存储数据。SqlBulkCopy存储大批量的数据非常的高效,就像这个方法的名字一样,可以将内存中的数据表直接的一次性的存储到数据库中,而不需要一次一次的向数据库Insert数据。初次实验,百万级别的数据表,也只需几秒时间内就可以完全的存入数据库中,其速度,比传统的Insert方法不止快很多倍。下面,我将用代码,介绍其用法。
/// <summary>
/// LaborReport Data Import To Database
/// </summary>
/// <param name="laborReport">laborReport data table</param>
/// <param name="laborReportDetail">laborReportDetail data table</param>
public void LaborReportInsert(DataTable laborReport, DataTable laborReportDetail)
{
using (SqlConnection conn = new SqlConnection(this.Connection))
{
if (conn.State != ConnectionState.Open)
conn.Open();
using (SqlBulkCopy sqlBCLaborReport = new SqlBulkCopy(conn))
{
sqlBCLaborReport.BatchSize = laborReport.Rows.Count;
sqlBCLaborReport.BulkCopyTimeout = 60;
sqlBCLaborReport.DestinationTableName = "LaborReport";
sqlBCLaborReport.WriteToServer(laborReport);
}
using (SqlBulkCopy sqlBCLaborReportDetails = new SqlBulkCopy(conn))
{
sqlBCLaborReportDetails.BatchSize = laborReportDetail.Rows.Count;
sqlBCLaborReportDetails.BulkCopyTimeout = 60;
sqlBCLaborReportDetails.DestinationTableName = "LaborReportDetails";
sqlBCLaborReportDetails.WriteToServer(laborReportDetail);
}
if (conn.State != ConnectionState.Closed)
conn.Close();
}
}
上边的示例代码,将内存中的两个DataTable 数据一次性的存入数据库中,只要内存中的数据表格的结构跟数据库中的表格结构一样,就可以了,如果数据库中包含自增列字段,我们可以不需要在内存表中定义,当数据保存到数据库中的时候,自增列会自动生成数据的。
//数据批量导入sqlserver,创建实例
System.Data.SqlClient.SqlBulkCopy?sqlbulk?=?new?System.Data.SqlClient.SqlBulkCopy(System.Configuration.ConfigurationManager.ConnectionStrings["connstr"].ToString());
//?目标数据库表 名
sqlbulk.DestinationTableName?=?"tablename";
//?数据集字段索 引与数据库字段索引映射
sqlbulk.ColumnMappings.Add(0,?5);
sqlbulk.ColumnMappings.Add(1,?4);
sqlbulk.ColumnMappings.Add(2,?7);
sqlbulk.ColumnMappings.Add(3,?1);
sqlbulk.ColumnMappings.Add(4,?10);
sqlbulk.ColumnMappings.Add(5,?6);
sqlbulk.ColumnMappings.Add(6,?2);
//?导入
sqlbulk.WriteToServer(sqldb);
sqlbulk.Close();
/// <summary>
/// LaborReport Data Import To Database
/// </summary>
/// <param name="laborReport">laborReport data table</param>
/// <param name="laborReportDetail">laborReportDetail data table</param>
public void LaborReportInsert(DataTable laborReport, DataTable laborReportDetail)
{
using (SqlConnection conn = new SqlConnection(this.Connection))
{
if (conn.State != ConnectionState.Open)
conn.Open();
using (SqlBulkCopy sqlBCLaborReport = new SqlBulkCopy(conn))
{
sqlBCLaborReport.BatchSize = laborReport.Rows.Count;
sqlBCLaborReport.BulkCopyTimeout = 60;
sqlBCLaborReport.DestinationTableName = "LaborReport";
sqlBCLaborReport.WriteToServer(laborReport);
}
using (SqlBulkCopy sqlBCLaborReportDetails = new SqlBulkCopy(conn))
{
sqlBCLaborReportDetails.BatchSize = laborReportDetail.Rows.Count;
sqlBCLaborReportDetails.BulkCopyTimeout = 60;
sqlBCLaborReportDetails.DestinationTableName = "LaborReportDetails";
sqlBCLaborReportDetails.WriteToServer(laborReportDetail);
}
if (conn.State != ConnectionState.Closed)
conn.Close();
}
}
上边的示例代码,将内存中的两个DataTable 数据一次性的存入数据库中,只要内存中的数据表格的结构跟数据库中的表格结构一样,就可以了,如果数据库中包含自增列字段,我们可以不需要在内存表中定义,当数据保存到数据库中的时候,自增列会自动生成数据的。
//数据批量导入sqlserver,创建实例
System.Data.SqlClient.SqlBulkCopy?sqlbulk?=?new?System.Data.SqlClient.SqlBulkCopy(System.Configuration.ConfigurationManager.ConnectionStrings["connstr"].ToString());
//?目标数据库表 名
sqlbulk.DestinationTableName?=?"tablename";
//?数据集字段索 引与数据库字段索引映射
sqlbulk.ColumnMappings.Add(0,?5);
sqlbulk.ColumnMappings.Add(1,?4);
sqlbulk.ColumnMappings.Add(2,?7);
sqlbulk.ColumnMappings.Add(3,?1);
sqlbulk.ColumnMappings.Add(4,?10);
sqlbulk.ColumnMappings.Add(5,?6);
sqlbulk.ColumnMappings.Add(6,?2);
//?导入
sqlbulk.WriteToServer(sqldb);
sqlbulk.Close();
相关文章推荐
- SqlBulkCopy使用心得 (大量数据导入)
- sqlserver大批量插入测试数据-sqlbulkcopy
- c#大量数量插入 SqlbulkCopy详细用法
- C# 读取 EXCEL
- SqlBulkCopy
- bcp批量复制数据到数据库中
- VIsual Basic 2005 - 如何使用 SqlBulkCopy 对象来执行大量复制作业
- ADO.NET 2.0 - 读者询问能否使用 SqlBulkCopy 对象来大量复制文字文件
- 使用 SqlBulkCopy 大量复制文字文件之 C# 程序代码
- ADO.net--SqlBulkCopy批量插入数据
- SqlBulkCopy 排除错误的数据 插入正确的数据
- 内网 大数据同步至外网(云服务器) 一
- C# 使用SqlBulkCopy,批量导入数据,并显示导入进度
- C# 使用SqlBulkCopy类批量复制大数据
- C# SqlBulkCopy实现大数据插入数据库
- ASP.NET控件FileUpload实现Excel文件内容上传到数据库
- 利用SqlBulkCopy批量写入数据库
- Dapper插入记录性能测试
- c# 批量添加数据
- 添加@ControllerAdvice后报错 Failed to invoke @ExceptionHandler method