用StreamWriter和SqlDataReader导出数据到CSV文件

导出数据CSV文件有很多种方法，我要导出的表中数据有几百兆，如果放在内存中处理，对执行程序的客户端会有比较高的要求/// <summary>
/// 从数据库中导出符合查询条件的数据到CSV文件，用StreamWriter和SqlDataReader读出，程序对系统内存要求小
/// </summary>
/// <param name="sql">符合查询条件的sql语句</param>
/// <param name="FileName">csv文件名</param>
/// <param name="splitChar">分隔符</param>
/// <returns></returns>
public static bool WriteCSVFlie(string sql, string FileName, string splitChar)
{
bool bl = true;
try
{
//实例化一个文件流--->与写入文件相关联
FileStream fs = new FileStream(FileName, FileMode.Create);
//实例化一个StreamWriter-->与fs相关联
Encoding encode = Encoding.GetEncoding("gb2312");
StreamWriter sw = new StreamWriter(fs, encode);
using (SqlConnection connection = new SqlConnection(ConfigurationManager.AppSettings["DBConnectionString"]))//初始化配置文件中的数据库连接
{
SqlCommand command = new SqlCommand(sql, connection);
connection.Open();
SqlDataReader reader = command.ExecuteReader();
int i = 0;
// Call Read before accessing data.
while (reader.Read())
{
if (i == 0)
{
//write data column name 第一行导出列名
string columnname = string.Empty;
for (int j = 0; j < reader.FieldCount; j++)
{
if (j == reader.FieldCount - 1)
columnname += reader.GetName(j);
else
columnname += reader.GetName(j) + splitChar;
}
sw.WriteLine(columnname);
}
string linecontent = string.Empty;
for (int j = 0; j < reader.FieldCount; j++)
{
if (j == reader.FieldCount - 1)
linecontent += reader[j].ToString().Trim().Replace(splitChar, "-_-");//考虑到分隔符可能在导出的数据中存在，需要把数据中存在的分隔符替换成特殊字符串处理，在导入数据库时可以再用程序把特殊字符替换回来
else
linecontent += reader[j].ToString().Trim().Replace(splitChar, "-_-") + splitChar;
}
sw.WriteLine(linecontent);
i += 1;
}
// Call Close when done reading.
reader.Close();
}
//清空缓冲区
sw.Flush();
//关闭流
sw.Close();
fs.Close();
}
catch (Exception ex)
{
bl = false;
throw ex;
}
return bl;
}

把csv文件导入数据库的代码介绍，采用bulkCopy方法批量导入数据比较方便。

/// <summary>
/// 将DataTable的数据导入到数据库
/// </summary>
/// <param name="datatable">DataTable对象</param>
/// <param name="conn">数据库连接串</param>
/// <param name="destTable">目标表格</param>
public static void BCPInForDatatable(DataTable datatable, string conn, string destTable)
{

SqlBulkCopy bulkCopy = null;
try
{
//先删除表内数据
GetSQL.TruncateTable(destTable);

using (bulkCopy = new SqlBulkCopy(conn))
{
//一次批量的插入的数据量
bulkCopy.BatchSize = 1000;
//超时之前操作完成所允许的秒数，如果超时则事务不会提交 ，数据将回滚，所有已复制的行都会从目标表中移除
bulkCopy.BulkCopyTimeout = 60;

//設定 NotifyAfter 属性，以便在每插入10000 条数据时，呼叫相应事件。
bulkCopy.NotifyAfter = 10000;
bulkCopy.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnSqlRowsCopied);

bulkCopy.DestinationTableName = destTable;

Console.WriteLine("Import To DB!");
bulkCopy.WriteToServer(datatable);
}

}
catch (Exception ex)
{
throw ex;
}
finally
{
if (bulkCopy != null)
{
try { bulkCopy.Close(); }
catch (Exception ex) { }
bulkCopy = null;
}
}
}

private static void OnSqlRowsCopied(object sender, SqlRowsCopiedEventArgs e)
{
Console.WriteLine("Current Insert Row Number:" + e.RowsCopied.ToString());
}

public static int TruncateTable(string tablename)
{
string sql = "truncate table " + tablename;
return SqlHelper.ExecuteNonQuery(SqlHelper.CenterConnStr, CommandType.Text, sql, null);
}