对大数据开发经验
2014-03-12 11:16
197 查看
对百万级以上的大数据开发,通常都会遇到查询效率、性能、甚至导致系统崩溃等问题。对大数据开发一般有几个原则:
1. 先选择后连接
在多表关联查询时,先将子表添加过滤条件,先过滤掉一些数据,然后在进行表连接
2. 查看PL/SQL执行计划
查看PL/SQL执行计划,如果出现全表扫描,说明查询语句写的有问题,要对语句进行优化,避免全表扫描
3. 添加索引
对于经常查询的表,对关键字段添加索引
对多表关联查询中的关联字段添加索引,可大大增加查询效率
在有些语句中即使添加了索引,索引也是失效的,在语句中出现like、in关键字时相应的索引会失效,如:where userName like "%wang%" 此时userName字段的索引是失效的。
1. 先选择后连接
在多表关联查询时,先将子表添加过滤条件,先过滤掉一些数据,然后在进行表连接
2. 查看PL/SQL执行计划
查看PL/SQL执行计划,如果出现全表扫描,说明查询语句写的有问题,要对语句进行优化,避免全表扫描
3. 添加索引
对于经常查询的表,对关键字段添加索引
对多表关联查询中的关联字段添加索引,可大大增加查询效率
在有些语句中即使添加了索引,索引也是失效的,在语句中出现like、in关键字时相应的索引会失效,如:where userName like "%wang%" 此时userName字段的索引是失效的。
相关文章推荐
- 基于MVC4+EasyUI的Web开发框架经验总结(12)--利用Jquery处理数据交互的几种方式
- Eclipse rcp/rap 开发经验总结(14) -rap 图片、数据缓存处理
- Android开发经验谈之应用间数据共享
- 最近开发一个SQL server大数据量统计系统的经验总结
- Infopath开发经验(xml数据)
- (转)基于Metronic的Bootstrap开发框架经验总结(7)--数据的导入、导出及附件的查看处理
- 数据开发面试经验
- Windows Phone开发经验谈(18)-总结两种滚动条到底部加载数据的方法
- (转)基于MVC4+EasyUI的Web开发框架经验总结(10)--在Web界面上实现数据的导入和导出
- 基于BootStrap Metronic开发框架经验小结【七】数据的导入、导出及附件的查看处理
- 最近开发一个SQL server大数据量统计系统的经验总结(转)
- 基于MVC4+EasyUI的Web开发框架经验总结(10)--在Web界面上实现数据的导入和导出
- 本文是笔者根据数据库编程经验,利用C++语言的模板、继承、授权、多态等面向对象特性,借鉴命令模式,实现了对象在关系数据中的存储,降低应用系统与数据库之间的耦合,提高开发效率。
- 【Android开发经验】Json数据格式介绍、使用Android自带类库完成Json生成与解析
- 最近开发一个SQL server大数据量统计系统的经验总结
- 记录开发Nodejs c++ addon的一些经验(二、数据类型的转换)
- 白沙洲大桥数据可视化平台开发——经验积累
- Android开发经验之—intent传递大数据
- 基于MVC+EasyUI的Web开发框架经验总结(3)- 使用Json实体类构建菜单数据
- 基于MVC+EasyUI的Web开发框架经验总结(10)--在Web界面上实现数据的导入和导出