老生常谈:关于分页查询和性能问题
2008-03-06 16:23
363 查看
分页查询是经常能够遇到的问题,我们首先看看分页查询存在的理由:
方便用户:用户不可能一次察看所有数据,所以一页一页的翻看比较好。
提高性能:一次从数据库中提取所有数据会比较慢。
那么现在我来尝试反驳上述理由:
真的方便吗?我们考虑下面的情况
如果数据只有20条。
如果数据超过1000条。
第一种显然不必分页查询。奇怪的是第二种也不必,因为没有哪个用户愿意一页一页的翻到最后,如果用户查询到的数据超过了他所关心的数据范围,我认为应该让他重新输入查询条件,就像我们使用google一样。
但是作为一个友好的应用界面,我们总是希望用户可以全面的了解他的查询结果,所以有必要告诉用户:“你查到了多少数据,但是,目前只能显示前1000条,如果您希望察看所有数据,那么应该如何如何... ”
性能会提高吗?
如果数据量很小,显然性能不会有明显的提升,相反,性能会大大下降。因为数据库执行了不必要的查询和查询条件。
如果数据量很大,性能也不见得有明显提升,因为你总是要执行一个额外的count查询,并且,组合SQL的时候极有可能造成全表扫描。当然这要看数据库的实现原理了。
可以想像,分页查询对于性能的影响和数据量之间的关系应该是一个曲线,数据量小的时候会降低性能,数据量大的时候可能(根据不同的数据库)会提升性能。关键是通过测试,找到曲线的拐点。性能不是根据经验和感觉得到的,而是通过测试得到的
另外,如果一次全部取出数据,的确会造成空间性能的影响,但是,现在内存很便宜...
负面影响
对于一个架构良好的web应用,将pageNo和PageSize在各个类之间传递实在是不爽,这两个数据明显属于表现层。当然,如果你使用RoR算俺没说。
明显提高编程复杂度,尤其是在考虑数据库无关性的时候。
奇怪的现象:为什么没有一个大型数据库直接提供分页查询?Oracle的RowNo不是用于分页的,SQLServer的Top更不是。
结论
ExtremeTable、DisplayTag、JSF DataTable都提供了简单的分页方式,那就是在结果集合中分页。使用非常方便,而且使得逻辑清晰,大大提高了工作效率。绝大多数情况下,可以直接使用这种方式。
如果通过测试,发现上述方式影响了性能,那么考虑使用分页查询。
对于用户量很大的应用,因为内存的原因,也可以考虑分页查询。但是,我个人更推荐缓存方式:同样的查询放在一个缓存中...
采用合理的设计,屏蔽开发人员处理分页逻辑。比如,将分页逻辑和count查询放在父类,开发人员负责组合查询条件。具体看设计模式吧。
方便用户:用户不可能一次察看所有数据,所以一页一页的翻看比较好。
提高性能:一次从数据库中提取所有数据会比较慢。
那么现在我来尝试反驳上述理由:
真的方便吗?我们考虑下面的情况
如果数据只有20条。
如果数据超过1000条。
第一种显然不必分页查询。奇怪的是第二种也不必,因为没有哪个用户愿意一页一页的翻到最后,如果用户查询到的数据超过了他所关心的数据范围,我认为应该让他重新输入查询条件,就像我们使用google一样。
但是作为一个友好的应用界面,我们总是希望用户可以全面的了解他的查询结果,所以有必要告诉用户:“你查到了多少数据,但是,目前只能显示前1000条,如果您希望察看所有数据,那么应该如何如何... ”
性能会提高吗?
如果数据量很小,显然性能不会有明显的提升,相反,性能会大大下降。因为数据库执行了不必要的查询和查询条件。
如果数据量很大,性能也不见得有明显提升,因为你总是要执行一个额外的count查询,并且,组合SQL的时候极有可能造成全表扫描。当然这要看数据库的实现原理了。
可以想像,分页查询对于性能的影响和数据量之间的关系应该是一个曲线,数据量小的时候会降低性能,数据量大的时候可能(根据不同的数据库)会提升性能。关键是通过测试,找到曲线的拐点。性能不是根据经验和感觉得到的,而是通过测试得到的
另外,如果一次全部取出数据,的确会造成空间性能的影响,但是,现在内存很便宜...
负面影响
对于一个架构良好的web应用,将pageNo和PageSize在各个类之间传递实在是不爽,这两个数据明显属于表现层。当然,如果你使用RoR算俺没说。
明显提高编程复杂度,尤其是在考虑数据库无关性的时候。
奇怪的现象:为什么没有一个大型数据库直接提供分页查询?Oracle的RowNo不是用于分页的,SQLServer的Top更不是。
结论
ExtremeTable、DisplayTag、JSF DataTable都提供了简单的分页方式,那就是在结果集合中分页。使用非常方便,而且使得逻辑清晰,大大提高了工作效率。绝大多数情况下,可以直接使用这种方式。
如果通过测试,发现上述方式影响了性能,那么考虑使用分页查询。
对于用户量很大的应用,因为内存的原因,也可以考虑分页查询。但是,我个人更推荐缓存方式:同样的查询放在一个缓存中...
采用合理的设计,屏蔽开发人员处理分页逻辑。比如,将分页逻辑和count查询放在父类,开发人员负责组合查询条件。具体看设计模式吧。
相关文章推荐
- 老生常谈:关于分页查询和性能问题
- 关于oracle的多表连接查询,分页的问题
- oracle11g分页优化,rowid和rownum的性能比较,解决越往后数据查询越慢的问题
- 关于mybatis中collection一对多关联查询分页出错问题总结
- 关于sql server分页查询的问题
- 关于Silverlight中的分页查询问题思考
- 关于mybatis中collection一对多关联查询分页出错问题总结
- 使用Linq查询数据进行分页时遇到的性能问题
- 关于where中子查询的性能问题 请高手指教
- 关于getFetchSize()的问题及想要获取分页查询个数的方法
- 关于用delphi查询oracle与mysql数据库的分页显示问题
- 关于分页查询的性能测试!Max\Min
- 关于GridView查询后分页的问题
- 关于时间段查询分页问题
- 关于Oracle分页查询的问题总结
- 关于分页查询问题
- 关于用分页提高查询速率的问题,是什么原理啊
- 关于一个数据库分页查询的问题
- 关于ResultSet分页以及Nutz Dao 数据库分页性能比较
- hibernate关于criteria多表查询问题