看MySql如何实现批量操作

前言

    说起MySql，简直没有什么要说的，对它了解的太少了。ITOO5.0数据库要从SQLServer变为Mysql，这才开始真正面对这个数据库。用过之后才发现，Mysql和SQLServer真的是一样一样的，执行sql语句，实现批量操作等等都一样，只不过形式不太一样了而已。

Mysql

    Mysql是一个关系型数据库管理系统，目前属于Oracle公司，是最流行的关系型数据库管理系统，在Web应用方面是最好的RDBMS应用软件之一。Mysql是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度，并提高了灵活性。Mysql所使用的sql语言是用于访问数据库的最常用标准化语言。

批量操作原理

    数据库的批量操作有三种类型，一种是批量插入，一种是批量更新，再一种就是批量导出。虽然是三种类型的操作，但是实现原理都是一样的。

    批量插入是将Excel表转换成DataTable，然后将DataTable导入到数据库，这个过程是通过MySqlBulkLoader来实现的。

    批量更新也一样，是将界面的传过来的JSON数据转换成DataTable，或者直接从界面传回来DataTable（这种传递数据的方式不太安全，建议使用第一种），或者其他数据传输形式转换成DataTable，然后通过MySqlDataAdapter更新到数据库。

    批量导出是将数据库的数据放到DataTable中，再将DataTable转换成CSV格式。

    一般情况下，对数据库的原生操作会封装成一个工具类，SQLServer中有SQLHelper，Mysql中也有MySQLHelper，批量操作也可以放到MySQLHelper中，实现效果一样。

批量插入

/// <summary>
///大批量数据插入,返回成功插入行数
/// </summary>
/// <param name="connectionString">数据库连接字符串</param>
/// <param name="table">数据表</param>
/// <returns>返回成功插入行数</returns>
public static int BulkInsert(string connectionString, DataTable table)
{
if (string.IsNullOrEmpty(table.TableName)) throw new Exception("请给DataTable的TableName属性附上表名称");
if (table.Rows.Count == 0) return 0;
int insertCount = 0;
string tmpPath = Path.GetTempFileName();
string csv = DataTableToCsv(table);
File.WriteAllText(tmpPath, csv);
using (MySqlConnection conn = new MySqlConnection(connectionString))
{
MySqlTransaction tran = null;
try
{
conn.Open();
tran = conn.BeginTransaction();
MySqlBulkLoader bulk = new MySqlBulkLoader(conn)
{
FieldTerminator = ",",
FieldQuotationCharacter = '"',
EscapeCharacter = '"',
LineTerminator = "\r\n",
FileName = tmpPath,
NumberOfLinesToSkip = 0,
TableName = table.TableName,
};
bulk.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
insertCount = bulk.Load();
tran.Commit();
}
catch (MySqlException ex)
{
if (tran != null) tran.Rollback();
throw ex;
}
}
File.Delete(tmpPath);
return insertCount;
}

批量更新

/// <summary>
///使用MySqlDataAdapter批量更新数据
/// </summary>
/// <param name="connectionString">数据库连接字符串</param>
/// <param name="table">数据表</param>
public static void BatchUpdate(string connectionString, DataTable table)
{
MySqlConnection connection = new MySqlConnection(connectionString);

MySqlCommand command = connection.CreateCommand();
command.CommandTimeout = CommandTimeOut;
command.CommandType = CommandType.Text;
MySqlDataAdapter adapter = new MySqlDataAdapter(command);
MySqlCommandBuilder commandBulider = new MySqlCommandBuilder(adapter);
commandBulider.ConflictOption = ConflictOption.OverwriteChanges;

MySqlTransaction transaction = null;
try
{
connection.Open();
transaction = connection.BeginTransaction();
//设置批量更新的每次处理条数
adapter.UpdateBatchSize = BatchSize;
//设置事物
adapter.SelectCommand.Transaction = transaction;

if (table.ExtendedProperties["SQL"] != null)
{
adapter.SelectCommand.CommandText = table.ExtendedProperties["SQL"].ToString();
}
adapter.Update(table);
transaction.Commit();/////提交事务
}
catch (MySqlException ex)
{
if (transaction != null) transaction.Rollback();
throw ex;
}
finally
{
connection.Close();
connection.Dispose();
}
}

批量导出

/// <summary>
///将DataTable转换为标准的CSV
/// </summary>
/// <param name="table">数据表</param>
/// <returns>返回标准的CSV</returns>
private static string DataTableToCsv(DataTable table)
{
//以半角逗号（即,）作分隔符，列为空也要表达其存在。
//列内容如存在半角逗号（即,）则用半角引号（即""）将该字段值包含起来。
//列内容如存在半角引号（即"）则应替换成半角双引号（""）转义，并用半角引号（即""）将该字段值包含起来。
StringBuilder sb = new StringBuilder();
DataColumn colum;
foreach (DataRow row in table.Rows)
{
for (int i = 0; i < table.Columns.Count; i++)
{
colum = table.Columns[i];
if (i != 0) sb.Append(",");
if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
{
sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
}
else sb.Append(row[colum].ToString());
}
sb.AppendLine();
}

return sb.ToString();
}
    如果需要MySQLHelper的代码，推荐一篇博客《自用类库整理之SQLHelper和MySQLHelper》，这个里面的MySQLHelper特别全，里面几乎包括了所有的Mysql的原生操作，包括一般Sql语句对表的操作，也有对DataTable的操作，也有对返回的结果集的不同处理。

总结

    有的时候我们说，一个人的学习能力很强，那么强在哪里呢？这个人学习方法很合适。一个很重要的学习方式，还是那句话，当我们遇到所谓的“新东西”的时候，一定不要认为他是陌生的，要相信，以我们当前的基础，足以对它有所认识，那么它就不是“新东西”。去和它找共鸣，这样才能不惧怕，相信自己。