数据统计与挖掘的通用设计原则
2012-07-27 09:43
204 查看
目前已经在基于hadoop平台上做数据统计与挖掘快一年了,这里将对做数据统计时的一些通用设计要求做总结(跟业务无关)。
以hive作为工具
第一:优先考虑增量计算,其次考虑全量计算。
第二:支持重算机制,简单地说就是当数据计算有误时,可以支持重算(也就是说这次的计算结果能正确覆盖上一次的结果)。
第三:脚本编写并行化,如果脚本编写没有明显的上下关联的话,优先考虑并行化。
第四:脚本中变化的地方用参数,例如SQL语句含有日期条件时,可以用变量方式,方便程序运行时进行替换。
第五:数据准备(就是什么时候数据源准备完毕)
第六:数据导出
目前就想到这么多,后续将继续总结和补充。
待续………………
以hive作为工具
第一:优先考虑增量计算,其次考虑全量计算。
第二:支持重算机制,简单地说就是当数据计算有误时,可以支持重算(也就是说这次的计算结果能正确覆盖上一次的结果)。
第三:脚本编写并行化,如果脚本编写没有明显的上下关联的话,优先考虑并行化。
第四:脚本中变化的地方用参数,例如SQL语句含有日期条件时,可以用变量方式,方便程序运行时进行替换。
第五:数据准备(就是什么时候数据源准备完毕)
第六:数据导出
目前就想到这么多,后续将继续总结和补充。
待续………………
相关文章推荐
- 数据挖掘中所需的概率论与数理统计知识、上
- 让文本飞 linux shell脚本数据挖掘实践,统计出出现次数top3的url。
- 数据挖掘实战,实时推荐系统实战,电视收视率项目实战,实时流统计项目实战
- Cassandra 表设计的通用原则
- 管理数据通用权限系统快速开发框架设计
- 关于数据表设计的若干原则
- 数据表设计的几个简单原则
- 基于分布式计算平台的流数据挖掘框架设计
- 通用数据权限管理系统设计
- 亿级数据的高并发通用搜索引擎架构设计(转-张宴)
- 数据库表设计原则
- 基于Hadoop、HBase的数据分析挖掘管理平台-舆情预警监控系统 (系统总体设计图)
- 几个可用于数据挖掘和统计分析的java库
- DotNET企业架构应用实践-数据库表记录的唯一性设计的设计兼议主键设定原则
- 数据仓库、OLAP和 数据挖掘、统计分析的关系和区别分析 .
- 通用权限管理设计 之 数据权限
- 通用数据权限管理系统设计
- 数据表的十二个设计原则
- 数据表的设计原则
- 数据库表设计的原则攻略