WEB Service 下实现大数据量的传输

Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary;
再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显.

下面分别是WebService里面的方法和客户端反序列化取DataSet的方法.
1. 服务器上面取数据,填充数据集,转换为二进制格式.
/// <summary>
/// Method for users data query with binaryFormatter
/// </summary>
/// <param name="err"></param>
/// <returns></returns>
public byte[] BinaryUserSelect(ref string err)
{
ClearCommand();
m_commandStringBuilder.Append("SELECT * FROM t_Users ;");
DataSet dsResult = new DataSet();
byte[] bArrayResult = null;
try
{
dsResult = SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString());
// 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段
dsResult.RemotingFormat = SerializationFormat.Binary;
MemoryStream ms = new MemoryStream();
IFormatter bf = new BinaryFormatter();
bf.Serialize(ms, dsResult);
bArrayResult = ms.ToArray();
ms.Close();
//
}
catch (Exception ee)
{
err = ee.ToString();
}
return bArrayResult;
}

2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心

3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作.

/// <summary>
/// Get user data with Binary format
/// </summary>
/// <returns></returns>
public DataSet GetBinaryUserData()
{
string err = "";
byte[] bUserData = svc.ByteArrayUserSelect(ref err);
if (err != "")
{
MessageBox.Show(err);
err = "";
return null;
}
// 反序列化的过程
MemoryStream ms = new MemoryStream(bUserData);
IFormatter bf = new BinaryFormatter();
object obj = bf.Deserialize(ms);
DataSet dsResult = (DataSet)obj;
//
ms.Close();
return dsResult;
}

同样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如此,通过网络传输的时间优化自然会更明显..

.net1.1下面微软提供的DataSetSurrogate开发包下载地址:http://support.microsoft.com/default.aspx?scid=kb;en-us;829740 DataSetSurrogate 在.net 2.0里自带
在.net1.1下的实现方式实例如下
在这里，有两种方式：可把序列化后的数据用文件形式保存在客户端硬盘；也可用Byte[]方式传回客户端，以下是代码。
web service 端(文件形式)

[WebMethod(Description="循环获取远程DATASET")]
public void SurrogateReadTable(string TableName)
{
//把DataSet通过Surrogate Class 序列化成 Binary Stream

DataSet ds;
ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from "+TableName);
//实例化DataSetSurrogate,传取出的DATASET到构造函数里
sds = new DataSetSurrogate(ds);
//实例化二进制流
BinaryFormatter bf=new BinaryFormatter();
StreamWriter swDat;
//写到本地一个文件里
swDat = new StreamWriter(@"c:/output_surrogate_dataset.dat");
bf.Serialize(swDat.BaseStream, sds);
//这里可以知道序列化后的文件的大小
long size = swDat.BaseStream.Length;
swDat.Close();

}

客户端

private void button1_Click(object sender, System.EventArgs e)
{
label1.Text=DateTime.Now.ToString();

button1.Enabled=false;
//反序列化Binary Stream能通过Surrogate Class转换成 DataSet

//从WEB SERVICE上读取方法
svs.SurrogateRead("t_busdocbase");
BinaryFormatter bf=new BinaryFormatter();
StreamReader swDat;
swDat = new StreamReader(@"c:/output_surrogate_dataset.dat");
object o=bf.Deserialize(swDat.BaseStream);
DataSet ds;
sds = (DataSetSurrogate) o;
ds = sds.ConvertToDataSet();
dataGrid1.DataSource=ds.Tables[0];
swDat.Close();
}

web service 端(Byte[]方式)

[WebMethod(Description="获取业务资料远程DATASET")]
public byte[] SurrogateRead1()
{
DataSet ds;
ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from t_busdocbase");
sds = new DataSetSurrogate(ds);
MemoryStream s= new MemoryStream();
BinaryFormatter bf = new BinaryFormatter();
bf.Serialize(s,sds);

byte[] e = s.ToArray();
return e;

}

客户端

private void button3_Click(object sender, System.EventArgs e)
{
label1.Text=DateTime.Now.ToString();

button3.Enabled=false;
//*反序列化Binary Stream能通过Surrogate Class转换成 DataSet*/

//从WEB SERVICE上读取方法

byte [] bb=svs.SurrogateRead1();
MemoryStream br=new MemoryStream(bb);
BinaryFormatter bf=new BinaryFormatter();
object o=bf.Deserialize(br);
sds = (DataSetSurrogate) o;
ds = sds.ConvertToDataSet();
dataGrid1.DataSource=ds.Tables[0];

br.Close();

}

我个人觉得用byte[]方式会安全些，毕竟不用在客户端产生文件，不用担心数据的安全。

在2.0 中对数据集序列化和反序列化的方法进行了一下简单的封装，使其可以得到重用的效果.见下面的类DatFormatter.

通过GetBinaryFormatData方法可以转换数据集为二进制，在服务器端使用,转换数据集格式。发送，客户端接收，得到二进制格式数据，使用RetrieveDataSet方法，反序列化，得到数据集，进行客户端操作。通过这些简单的操作(序列化和反序列化，将数据压缩)，可以使数据集等体积庞大的对象在远程传递中的时间大大减少，并且可以减少网络中断等问题对程序的影响。

1using System;
2using System.IO;
3using System.Data;
4using System.Runtime.Serialization;
5using System.Runtime.Serialization.Formatters.Binary;
6
7namespace Common
8{
9 public class DataFormatter
10 {
11 private DataFormatter() { }
12 /// <summary>
13 /// Serialize the Data of dataSet to binary format
14 /// </summary>
15 /// <param name="dsOriginal"></param>
16 /// <returns></returns>
17 static public byte[] GetBinaryFormatData(DataSet dsOriginal)
18 {
19 byte[] binaryDataResult = null;
20 MemoryStream memStream = new MemoryStream();
21 IFormatter brFormatter = new BinaryFormatter();
22 dsOriginal.RemotingFormat = SerializationFormat.Binary;
23
24 brFormatter.Serialize(memStream, dsOriginal);
25 binaryDataResult = memStream.ToArray();
26 memStream.Close();
27 memStream.Dispose();
28 return binaryDataResult;
29 }
30 /// <summary>
31 /// Retrieve dataSet from data of binary format
32 /// </summary>
33 /// <param name="binaryData"></param>
34 /// <returns></returns>
35 static public DataSet RetrieveDataSet(byte[] binaryData)
36 {
37 DataSet dataSetResult = null;
38 MemoryStream memStream = new MemoryStream(binaryData);
39 IFormatter brFormatter = new BinaryFormatter();
40
41 object obj = brFormatter.Deserialize(memStream);
42 dataSetResult = (DataSet)obj;
43 return dataSetResult;
44 }
45 }
46}
47
posted on 2005-12-06 12:33 高海东 阅读(1525) 评论(10) 编辑 收藏 引用 收藏至365Key 所属分类: WEB SERVICE

评论
# re: WEB Service 下实现大数据量的传输 2005-12-06 17:26 阿瑞
通过webservice扩展，用压缩流能更高的提高网络传输效率 回复

# re: WEB Service 下实现大数据量的传输 2005-12-06 17:34 高海东
不好意思，忘了说明
本分来自 http://snowlove67.cnblogs.com/archive/2005/12/06/291591.html
的一部分 回复

# re: WEB Service 下实现大数据量的传输 2005-12-06 17:35 高海东
我是对一些收集的资料的总结，希望 家中慢步 可以谅解 回复

# re: WEB Service 下实现大数据量的传输 2005-12-06 21:55 家中慢步
没有关系，重在交流，只是我觉得转载文章要注明转载，参考要注明参考，这是对别人最起码的尊重 回复

# re: WEB Service 下实现大数据量的传输 2005-12-06 21:58 家中慢步
# re: WEB Service 下实现大数据量的传输 2005-12-06 17:26 阿瑞
通过webservice扩展，用压缩流能更高的提高网络传输效率

可以再说明一下这个WebService扩展和压缩流？是什么概念呢？大概实现的思路？ 回复

# re: WEB Service 下实现大数据量的传输 2005-12-06 22:07 高海东
to 阿瑞
可以谈下你的实现方式吗 用压缩流？ 回复

# re: WEB Service 下实现大数据量的传输 2006-01-17 17:46 ant
老大，在机器上发现下面这个问题，各位有遇到吗？
使用VS.NET 2005 内置的DataSet.RemotingFormat属性控制压缩后的数据集反序列化后所有DateTime字段原来为null的值全部变成了最小的日期时间值，导致数据库不能接受该时间值。 回复

# re: WEB Service 下实现大数据量的传输 2006-03-21 11:29 HashMap
请教一个问题，你BLOG中的源代码格式怎么弄出来的，用了什么工具？ 回复

# re: WEB Service 下实现大数据量的传输 2006-05-09 17:09 caicai
@ant
我也遇到与你相同的问题,数据集所有Data Time字段经过binary的序列化和反序列化后,由原来的DBnull变成了一个时间最小值了0001-01-01 8:00:00,这种不一致不知道是BUG,还是MS故意的设计(没道理会这样设计吧?).无解...
有兴趣可以聊聊 Wen.fucai at gmail.com 回复

# re: WEB Service 下实现大数据量的传输 2006-05-09 17:29 caicai
Data Time应该为DateTime 回复