您的位置:首页 > 数据库 > MySQL

C# 使用MySqlBulkLoader 批量导入数据到Mysql

2016-03-13 08:27 1741 查看

前言:

   最近做了一个导入数据的功能,需求大概是这样的,有张Excel表格,将里面的数据插入到mysql已经建好的表里面,而且字段要一一对应,之前我们用的是SqlServer数据库,实现这个批量插入的工作就很简单了,我们可以用SqlBulkCopy批量更新数据,但是在Mysql的ADO操作对象中并没有这个对象,难道要去拼接Insert语句么?小编找到了这样一个有用的对象—— MySqlBulkLoader,是先将DATATable编程CSV文件,
在用MySqlBulkLoader导入MySql中,这样的操作很简单,下面是我的实现。



代码实现:

逻辑层:

<span style="font-family:KaiTi_GB2312;font-size:18px;">         #region ImportQuestionFile() 导入Excel模板题--周洲--2016年3月11日20:42:53

/// <summary>
/// 导入Excel模板题--周洲--2016年3月11日20:42:53
/// </summary>
/// <param name="filePathName"></param>
/// <param name="strPaperId"></param>
/// <returns></returns>
public Dictionary<int, DataTable> ImportQuestionFile(string filePathName, string strPaperId)
{
//完整文件路径
string strFilePath = _savePath1 + filePathName;
//添加默认列(时间戳,是否删除等)
Dictionary<string, string> defaultField = new Dictionary<string, string>();
//defaultField.Add("CourseID", strPaperId);
defaultField.Add("TimeSpan", DateTime.Now.ToString());

//调用底层的方法
Dictionary<int, DataTable> ta = new Dictionary<int, DataTable>();

ExcelImportManager excelImportManager = new ExcelImportManager();
ta = excelImportManager.ImportExcel(strFilePath, "Panduanti", defaultField, "itooexamEntities");

return ta;
}
#endregion
</span>


调用的ExcelImportManager里面的ImportExcel方法:

<span style="font-family:KaiTi_GB2312;font-size:18px;">  public Dictionary<int, DataTable> ImportExcel(string strPath, string strXMLName, Dictionary<string, string> dicDefaultColumn, string strDBKey)
{
//得到导入目标表的DataTable
Dictionary<int, DataTable> dicTargetTable = this.GetImportTable(strPath, strXMLName, dicDefaultColumn, strDBKey);
//得到导入第三张表的DataTable
Dictionary<int, DataTable> dicThirdTable = this.GetThirdTable();
//得到过程中出现的问题表
Dictionary<int, DataTable> dicErrorTable = this.GetErrorTable();
//执行隐式事务
// try
// {
using (TransactionScope scope = new TransactionScope(TransactionScopeOption.RequiresNew))
{
for (int intTableIndex = 0; intTableIndex < dicTargetTable.Count; intTableIndex++)
{
if (dicTargetTable[intTableIndex].Rows.Count > 0)
{
DataTable dtTarget = dicTargetTable[intTableIndex];
//TODO:从这里调用导入数据库的方法,在sqlhelper中
//   sqlHelper.InsertTable(strPath, strDBKey, dtTarget, dtTarget.TableName, dtTarget.Columns);
//MySqlDBHelper mysqlhelper = new MySqlDBHelper();

//mysqlhelper.BulkInsert(strDBKey,dtTarget);
string strConnValue = ConfigHelper.ReadAppSetting(strDBKey);
MySqlHelper mysqlhelper = new MySqlHelper(strConnValue);
mysqlhelper.BulkInsert(dtTarget);
}
}

scope.Complete();
}
// }
//catch (Exception e)
// {
//   throw new Exception(e.Message);
// }
Boolean bolIsExistErrorData = false;
foreach (int intErrorTableIndex in dicErrorTable.Keys)
{
if (dicErrorTable[intErrorTableIndex].Rows.Count > 0)
{
bolIsExistErrorData = true;
}
}
if (bolIsExistErrorData)
{
return dicErrorTable;
}
return null;
}</span>


调用的数据库操作类:mysqlhelper

<span style="font-family:KaiTi_GB2312;font-size:18px;"> /// <summary>
///大批量数据插入,返回成功插入行数
/// </summary>
/// <param name="connectionString">数据库连接字符串</param>
/// <param name="table">数据表</param>
/// <returns>返回成功插入行数</returns>
public static int BulkInsert(string connectionString, DataTable table)
{
if (string.IsNullOrEmpty(table.TableName)) throw new Exception("请给DataTable的TableName属性附上表名称");
if (table.Rows.Count == 0) return 0;
int insertCount = 0;
string tmpPath = Path.GetTempFileName();
string csv = DataTableToCsv(table);
File.WriteAllText(tmpPath, csv);
// MySqlTransaction tran = null;

using (MySqlConnection conn = new MySqlConnection(connectionString))
{

try
{

conn.Open();
//tran = conn.BeginTransaction();
MySqlBulkLoader bulk = new MySqlBulkLoader(conn)
{
FieldTerminator = ",",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\r\n",
FileName = tmpPath,
NumberOfLinesToSkip = 0,
TableName = table.TableName,
};
//bulk.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToArray());
insertCount = bulk.Load();
// tran.Commit();
}
catch (MySqlException ex)
{
// if (tran != null) tran.Rollback();
throw ex;
}
}
File.Delete(tmpPath);
return insertCount;
}</span>
<span style="font-family:KaiTi_GB2312;font-size:18px;">   /// <summary>
        ///将DataTable转换为标准的CSV
        /// </summary>
        /// <param name="table">数据表</param>
        /// <returns>返回标准的CSV</returns>
        private static string DataTableToCsv(DataTable table)
        {
            //以半角逗号(即,)作分隔符,列为空也要表达其存在。
            //列内容如存在半角逗号(即,)则用半角引号(即"")将该字段值包含起来。
            //列内容如存在半角引号(即")则应替换成半角双引号("")转义,并用半角引号(即"")将该字段值包含起来。
            StringBuilder sb = new StringBuilder();
            DataColumn colum;
            foreach (DataRow row in table.Rows)
            {
                for (int i = 0; i < table.Columns.Count; i++)
                {
                    colum = table.Columns[i];
                    if (i != 0) sb.Append(",");
                    if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
                    {
                        sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
                    }
                    else sb.Append(row[colum].ToString());
                }
                sb.AppendLine();
            }

            return sb.ToString();
        }
</span>
<span style="font-family:KaiTi_GB2312;font-size:18px;">  /// <summary>
        ///大批量数据插入,返回成功插入行数
        /// </summary>
        /// <param name="table">数据表</param>
        /// <returns>返回成功插入行数</returns>
        public int BulkInsert(DataTable table)
        {
            return BulkInsert(ConnectionString, table);
        }
</span>


Panduanti.xml文件,用来获取表信息和数据类型的验证

<span style="font-family:KaiTi_GB2312;font-size:18px;"><?xml version="1.0" encoding="utf-8" ?>
<Excel name="判断题导入模板">
<Sheet name="判断题"  table="t_sixiu_panduanti" primaryKey="QuestionID" pkType="int">
<Column name="题号" field="QuestionID" isNecessary="true" >
<DataType>int</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="章节" field="ChapterID" >
<DataType>string</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="题型" field="QuestionTypeID" >
<DataType>string</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="难度等级" field="Degree">
<DataType>string</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="总分值" field="Fraction">
<DataType>float</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="主题干" field="QuestionContent">
<DataType>string</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="标准答案" field="CorrectAnswer">
<DataType>string</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="有效性(T or F)" field="IsValid" >
<DataType>string</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
<Column name="是否为听力(T or F)" field="other2">
<DataType>string</DataType>
<ForeignKey isExist="false"></ForeignKey>
</Column>
</Sheet>
</Excel>
</span>


     这样就简单的实现了一个批量上传的功能,跟拼接insert语句比起来,我还是选择这样的方法,方便省事的批量插入。

总结:

1.一个功能实现,找方法的过程可能比你实现花费的时间长的很多,那也一定要耐得住性子去查,有很多不知道的东西,在等着你。

2.在发现mysql没有这个SqlBulkCopy的时候,我就知道一定有一个它的替代品,哈哈,果然找到了。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: