大数据分析现有技术与问题
2013-12-02 14:48
323 查看
1、数据仓库方法DW:
-数据移动过程(ETL)浪费资源、性能;
-随着数据载入,应用越来越小,受制于数据源
2、数据云:
-大量数据输入,类型是堆,结构混乱,不可用;
-按来源,最近原则分发、使用;
-应用上,异构数据来了后,不知道放到哪里去;
3、Big data:
-内容无限(海量的数据和海量的流量);
-无边(边界不清、类别模糊);
4、传统的聚类方法
-怎么找到数据;类在什么?分界线在哪里?
-从DB上:ETL技术,分类,并行DB+ETL(OLAP)
-Google:云(Mapreduce)-SQL方式+存储太慢+读写对硬件要求高+PB级以上时性能与需求矛盾大
-并行DB+Mapreduce:综合数据生成、排序等;
1)横向规模扩展-节点无限增加,查询性能下降
2)纵向关系:异构数据(医疗、交通……),可用性?
5、架构型大数据?
-如果说大数据是有一个架构的,那么如何在架构上发现数据的分类条件(聚类)、边界、最小集、可用与不可用、弱关系与强关系?
-数据移动过程(ETL)浪费资源、性能;
-随着数据载入,应用越来越小,受制于数据源
2、数据云:
-大量数据输入,类型是堆,结构混乱,不可用;
-按来源,最近原则分发、使用;
-应用上,异构数据来了后,不知道放到哪里去;
3、Big data:
-内容无限(海量的数据和海量的流量);
-无边(边界不清、类别模糊);
4、传统的聚类方法
-怎么找到数据;类在什么?分界线在哪里?
-从DB上:ETL技术,分类,并行DB+ETL(OLAP)
-Google:云(Mapreduce)-SQL方式+存储太慢+读写对硬件要求高+PB级以上时性能与需求矛盾大
-并行DB+Mapreduce:综合数据生成、排序等;
1)横向规模扩展-节点无限增加,查询性能下降
2)纵向关系:异构数据(医疗、交通……),可用性?
5、架构型大数据?
-如果说大数据是有一个架构的,那么如何在架构上发现数据的分类条件(聚类)、边界、最小集、可用与不可用、弱关系与强关系?
相关文章推荐
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径(分享)
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径(分享)
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 测试数据科学家聚类技术的40个问题(附答案和分析)
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 数据集市层——论为什么随着技术分析的深入,决策数据报表问题越来越多
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- WOT技术门诊第2期 | 当当高级架构师:初创公司大数据典型问题分析
- 大数据技术与抽样数据分析的不同之处
- 技术转载:android listview 连续调用 getview问题分析及解决 .
- 红外摄像机应用原理与常见技术问题分析
- 深入浅出数据分析:最优化-用Excel求解一个线性规划问题
- 结构思维——用结构化思考让数据分析到达问题的底层
- php函数unserialize数据返回false问题分析
- 视频大数据技术的应用以及存在的隐私泄露问题