.NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试(1)
2009-01-15 00:16
731 查看
声明:这篇文章可能存在错误,我对于 DataSet和SqlDataReader概念的理解有误,当时主要是针对网络上一个面试的题目做出的,测试。我在核实资料后与验证代码后会做出更新。
我已经使用Reflector查看了SQLDataAdapter类型的Fill方法以及SqlCommand.ExecuteReader 方法代码。确实有使用DataReader的地方。他们是真正负责处理查询并装在数据。DataReader和DataSet应该都是数据容器。做个类比的话,应该是茶壶和茶杯的关系。 至于查询数据,除了取决于容器,还和具体负责查询和装载数据的类有关系。 我文章的标题,应该说是有问题的,这种比较忽略了一个数据查询和装载的过程。有不合理的地方。现在更正。
2009年已经来临,中国的新春佳节就要到来.首先祝各位新年快乐,牛年大吉~~此篇文章作为我blog的第一篇文章,写出来希望能与大家一起分享经验,交流技术.
DataSet和SqlDataReader的比较的文章和帖子网上已经很多,我也看了很多前辈的随笔.自己在面试和实际工作中也遇到这样的问题.但是始终是没深入进行学习.最近在工作空闲之余,特地查阅了一些文章,也包括msdn的官方文档.自己建立数据库和测试程序,对DataSet和SqlDataReader做了比较.
首先关于两者比较主流的观点就是:
1.DataReader使用时始终占用SqlConnection,在线操作数据库.DataSet则是将数据一次性加载在内存中.支持数据库访问的断开连接模型.
2.DataReader每次只在内存中加载一条数据,节约内存.DataSet将数据全部加载在内存中.比较消耗内存.
3.DataReader单向只读.DataSet支持查询\修改\删除等操作,比较灵活.
4.DataReader与 SqlCommand搭配.DataSet与DataAdapter 结合使用.
为什么会这样呢?我们就来分析一下具体的原因.查看一下msdn关于 两者的不同描述:
1>SqlDataReader 类提供一种从 SQL Server 数据库读取行的只进流的方式。无法继承此类。 命名空间: System.Data.SqlClient程序集: System.Data(在 System.Data.dll 中).可以使用 ADO.NET DataReader 从数据库中检索只读、只进的数据流。查询结果在查询执行时返回,在并存储在客户端的网络缓冲区中,直到您使用 DataReader 的 Read 方法对它们发出请求。使用 DataReader 可以提高应用程序的性能,原因是它只要数据可用就立即检索数据,并且(默认情况下)一次只在内存中存储一行,减少了系统开销。
2>DataSet 对象是支持 ADO.NET 的断开式、分布式数据方案的核心对象。DataSet 是数据的内存驻留表示形式,无论数据源是什么,它都会提供一致的关系编程模型。它可以用于多种不同的数据源,用于 XML 数据,或用于管理应用程序本地的数据。DataSet 表示包括相关表、约束和表间关系在内的整个数据集。下图将显示 DataSet 对象模型。
从上面的描述可以看出,DataReader和DataSet具有不同的结构模型.在数据的方式处理上也存在显著的差别.SqlDataReader 会避免创建不必要的对象或复制不必要的数据.DataSet 可以表示完整的数据模型,包括表格、约束条件和表关系.在对象的创建和销毁等环节需要消耗更多的资源,因此在性能上也稍显逊色.因此很多文章得出的结论也是在只进行读数据操作的情况下,DataReader的性能要强于DataSet.但是很多文章都没有相应的测试,就盲目下结论.
但是好奇心理的驱使使我很想来做个试验来验证一下这个结论,到底DataReader比DataSet在查询数据的时候,性能会不会胜出,如果前者更优的话那么会超出多少?我自己写了个小程序,自己建立的数据库进行了实验. 实验测试环境如下:
硬件:
软件:
数据库表结构
Test
具体的实验程序c#代码如下,使用了using System.Data.SqlClient;
using System.Diagnostics;两个namespace下的类,Stopwatch对象用来进行计时.
测试DataSet的代码:
1
using (SqlConnection conn = new SqlConnection("Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True"))
2
{
3
Stopwatch st = new Stopwatch();
4
st.Start();
5
conn.Open();
6
SqlDataAdapter da = new SqlDataAdapter(sQuery, conn);
7
st.Stop();
8
//textBox3.Text = st.ElapsedMilliseconds.ToString();
9
10
st.Start();
11
DataSet ds = new DataSet("test");
12
da.Fill(ds);
13
st.Stop();
14
long ltimes = st.ElapsedMilliseconds;
15
//textBox1.Text = ltimes.ToString();
16
conn.Close();
17
/**////textBox3.Text = sizeof(DataSet);
18
}
19
测试DataReader的代码:
Code
1
using (SqlConnection conn = new SqlConnection("Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True"))
2
{
3
4
Stopwatch st = new Stopwatch();
5
st.Start();
6
conn.Open();
7
SqlCommand Comm = new SqlCommand(sQuery, conn);
8
st.Stop();
9
textBox4.Text = st.ElapsedMilliseconds.ToString();
10
st.Start();
11
SqlDataReader reader = Comm.ExecuteReader();
12
while (reader.Read())
13
{
14
15
}
16
st.Stop();
17
long ltimes = st.ElapsedMilliseconds;
18
textBox2.Text = ltimes.ToString();
19
conn.Close();
20
//textBox4.Text = sizeof(SqlDataReader);
21
}
测试语句和时间ms分别如下:
从试验结果分析可以得出如下结论:
1.在查询数据量很少的情况下100条内,DataReader和DataSet几乎没有什么明显的性能差别.
2.数据量过大,接近10000条的时候的数据查询,DataReader的性能要明显优于DataSet.
对于两者的性能对比,不应该轻易下结论,除了参考实验设备,也要考虑实际的数据规模.
具体项目应用中,选择适合具体需求的对象进行数据处理,才能有效的提高系统的性能.
本文的测试环境和结果可能存在偏差,但是希望能给大家带来一些帮助,一起交流学习.谢谢.
【2】补充:
DataAdapter的Fill方法的源码,我们使用反射器查看,代码如下:
.NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试(2)
我已经使用Reflector查看了SQLDataAdapter类型的Fill方法以及SqlCommand.ExecuteReader 方法代码。确实有使用DataReader的地方。他们是真正负责处理查询并装在数据。DataReader和DataSet应该都是数据容器。做个类比的话,应该是茶壶和茶杯的关系。 至于查询数据,除了取决于容器,还和具体负责查询和装载数据的类有关系。 我文章的标题,应该说是有问题的,这种比较忽略了一个数据查询和装载的过程。有不合理的地方。现在更正。
2009年已经来临,中国的新春佳节就要到来.首先祝各位新年快乐,牛年大吉~~此篇文章作为我blog的第一篇文章,写出来希望能与大家一起分享经验,交流技术.
DataSet和SqlDataReader的比较的文章和帖子网上已经很多,我也看了很多前辈的随笔.自己在面试和实际工作中也遇到这样的问题.但是始终是没深入进行学习.最近在工作空闲之余,特地查阅了一些文章,也包括msdn的官方文档.自己建立数据库和测试程序,对DataSet和SqlDataReader做了比较.
首先关于两者比较主流的观点就是:
1.DataReader使用时始终占用SqlConnection,在线操作数据库.DataSet则是将数据一次性加载在内存中.支持数据库访问的断开连接模型.
2.DataReader每次只在内存中加载一条数据,节约内存.DataSet将数据全部加载在内存中.比较消耗内存.
3.DataReader单向只读.DataSet支持查询\修改\删除等操作,比较灵活.
4.DataReader与 SqlCommand搭配.DataSet与DataAdapter 结合使用.
为什么会这样呢?我们就来分析一下具体的原因.查看一下msdn关于 两者的不同描述:
1>SqlDataReader 类提供一种从 SQL Server 数据库读取行的只进流的方式。无法继承此类。 命名空间: System.Data.SqlClient程序集: System.Data(在 System.Data.dll 中).可以使用 ADO.NET DataReader 从数据库中检索只读、只进的数据流。查询结果在查询执行时返回,在并存储在客户端的网络缓冲区中,直到您使用 DataReader 的 Read 方法对它们发出请求。使用 DataReader 可以提高应用程序的性能,原因是它只要数据可用就立即检索数据,并且(默认情况下)一次只在内存中存储一行,减少了系统开销。
2>DataSet 对象是支持 ADO.NET 的断开式、分布式数据方案的核心对象。DataSet 是数据的内存驻留表示形式,无论数据源是什么,它都会提供一致的关系编程模型。它可以用于多种不同的数据源,用于 XML 数据,或用于管理应用程序本地的数据。DataSet 表示包括相关表、约束和表间关系在内的整个数据集。下图将显示 DataSet 对象模型。
从上面的描述可以看出,DataReader和DataSet具有不同的结构模型.在数据的方式处理上也存在显著的差别.SqlDataReader 会避免创建不必要的对象或复制不必要的数据.DataSet 可以表示完整的数据模型,包括表格、约束条件和表关系.在对象的创建和销毁等环节需要消耗更多的资源,因此在性能上也稍显逊色.因此很多文章得出的结论也是在只进行读数据操作的情况下,DataReader的性能要强于DataSet.但是很多文章都没有相应的测试,就盲目下结论.
但是好奇心理的驱使使我很想来做个试验来验证一下这个结论,到底DataReader比DataSet在查询数据的时候,性能会不会胜出,如果前者更优的话那么会超出多少?我自己写了个小程序,自己建立的数据库进行了实验. 实验测试环境如下:
硬件:
CPU | Intel T2300 1.66GHz |
内存 | Kingston DDR2 667 1G |
硬盘 | 80G 5400转 8m |
操作系统 | Windows Server 2003 |
数据库系统 | SQL Server 2005 Enterprise |
数据规模 | 1000000条数据 |
Test
名称 | 类型 | 备注 |
id | int | 标志\聚集索引 |
name | nvarchar(50) | 非聚集索引 |
birthday | datetime | 生日 |
height | int | 身高 |
sex | int | 性别 |
address | nvarchar(100) | 地址 |
lastlogintime | datetime | 非聚集索引 |
using System.Diagnostics;两个namespace下的类,Stopwatch对象用来进行计时.
测试DataSet的代码:
1
using (SqlConnection conn = new SqlConnection("Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True"))
2
{
3
Stopwatch st = new Stopwatch();
4
st.Start();
5
conn.Open();
6
SqlDataAdapter da = new SqlDataAdapter(sQuery, conn);
7
st.Stop();
8
//textBox3.Text = st.ElapsedMilliseconds.ToString();
9
10
st.Start();
11
DataSet ds = new DataSet("test");
12
da.Fill(ds);
13
st.Stop();
14
long ltimes = st.ElapsedMilliseconds;
15
//textBox1.Text = ltimes.ToString();
16
conn.Close();
17
/**////textBox3.Text = sizeof(DataSet);
18
}
19
测试DataReader的代码:
Code
1
using (SqlConnection conn = new SqlConnection("Data Source=127.0.0.1;Initial Catalog=Test;Integrated Security=True"))
2
{
3
4
Stopwatch st = new Stopwatch();
5
st.Start();
6
conn.Open();
7
SqlCommand Comm = new SqlCommand(sQuery, conn);
8
st.Stop();
9
textBox4.Text = st.ElapsedMilliseconds.ToString();
10
st.Start();
11
SqlDataReader reader = Comm.ExecuteReader();
12
while (reader.Read())
13
{
14
15
}
16
st.Stop();
17
long ltimes = st.ElapsedMilliseconds;
18
textBox2.Text = ltimes.ToString();
19
conn.Close();
20
//textBox4.Text = sizeof(SqlDataReader);
21
}
测试语句和时间ms分别如下:
语句 | DataReader费时 | DataSet费时 |
string sQuery = "SELECT * FROM dbo.test where id <= 1" | 0ms | 0ms |
string sQuery = "SELECT * FROM dbo.test where id <=10" | 1ms | 1ms |
string sQuery = "SELECT * FROM dbo.test where id <=100" | 2ms | 3ms |
string sQuery = "SELECT * FROM dbo.test where id <=1000" | 5ms | 6ms |
string sQuery = "SELECT * FROM dbo.test where id <=10000" | 8ms | 50ms |
1.在查询数据量很少的情况下100条内,DataReader和DataSet几乎没有什么明显的性能差别.
2.数据量过大,接近10000条的时候的数据查询,DataReader的性能要明显优于DataSet.
对于两者的性能对比,不应该轻易下结论,除了参考实验设备,也要考虑实际的数据规模.
具体项目应用中,选择适合具体需求的对象进行数据处理,才能有效的提高系统的性能.
本文的测试环境和结果可能存在偏差,但是希望能给大家带来一些帮助,一起交流学习.谢谢.
【2】补充:
DataAdapter的Fill方法的源码,我们使用反射器查看,代码如下:
.NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试(2)
相关文章推荐
- .NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试(2)
- .NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试(1)
- .NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试(2)
- .NET深入学习笔记(1):DataSet和SqlDataReader性能差异深入剖析与测试
- .NET学习笔记-1:DataSet和SqlDataReader性能差异
- 【黑马程序员】SqlDataReader, DataSet(学习笔记)
- .NET深入学习笔记(2):C#中判断空字符串的4种方法性能比较与分析
- .NET深入学习笔记(2):C#中判断空字符串的4种方法性能比较与分析
- 黑马程序员之ADO.NET学习笔记:SqlDataReader(数据流读取器)
- ASP.NET 3.5核心编程学习笔记(12):SqlCommand、SqlDataReader、事务
- 黑马程序员之ADO.NET学习笔记:SqlDataReader和SqlDataAdapter 区别
- [测试]Gridview绑定SqlDataReader+IList<T>和SqlDataAdapter+DataSet的效率
- 黑马程序员_ADO.Net(ExecuteReader,Sql注入与参数添加,DataSet,总结DataSet与SqlDataReader )
- SQLDataReader vs Dataset
- Jmeter进阶学习笔记(对性能、接口测试的进阶学习)
- 学习——精通软件性能测试笔记
- 性能测试学习笔记-如何管理loadrunner的临时文件
- Winform开发常用控件之DataGridView的简单数据绑定——代码绑定DataSet、DataTable、IList、SqlDataReader
- Delphi-IOCP学习笔记<九>======性能测试和IOCP源码下载<5000个连接数>
- .Net调用存储过程(有传入、传出、返回值、记录集)及SqlDataAdapter、ExecuteNonQuery、SqlDataReader、ExecuteScalar