数据时代的平台架构项目开发那点事
2016-04-24 22:15
483 查看
上面的一篇说了大数据项目平台架构方面的一些名称,后面也会继续添加补充。这里还是技术说说大数据项目那点事。
很多中小型公司一直很纠结,什么是大数据,怎么搞大数据,大数据能高出什么名堂,上了之后真的能带来好处吗......凡此种种,问题多于牛毛,结果可想而知。上面的领导不知道该不该搞,不知道怎么搞,不要知道能不能搞得好,往往就是拍脑袋,说好听了能摸石头过河,说不好听就是乱来。不过话也说回来,也有不少公司,说干就干,还也像模像样;
那么大数据项目该怎么搞呢?
有图有真相,一图胜千言:
这里有几点需要说明下:
1,下定决心搞,就是要明白基本的思路,有哪些风险,有哪些符合自己的业务需求,才下决心的,而不是为了所谓的政绩,为了所谓的概念,可惜很多人是奔着后面的几点去的;
2,做好准备,是做好了扎稳数据篱笆,对数据进行深耕细作,对数据进行长久的规划;
3,选择切入点,说的是选择从什么应用开始,适应业务,切入大数据之中,能够达到入门,熟悉,掌握,精通的循序渐进的方式方法;
说到切入点,这个是很好的话题,很多公司不知道从何入手,从什么业务切进去,以为是不是该什么都可以做,建立一个统一通用的大平台,然后就可以在上面睡大觉了。
这里举几个可以作为切入点的例子:
基于Hadoop的数据备份,由于HDFS作为分布式的文件存储是一个很好的选择,可以从这里切入;
基于Hbase的快速查询,Hbase是一个key-value的数据库,可以存储海量历史数据进行查询分析;
基于Hive的数据仓库,适应它来做数据的分析查询;
推荐引擎,根据用户的历史情况,有针对性的推送信息,是很多应用的必备的;
其他等等,可以选择某些作为自己的业务应用,逐步构建完整的数据闭环。
4,采购还是自己开发
这个也是有很多争议的地方,到底是自己来做还是采用别人的,说实在的从管理人员到开发人员,都是一个不小的话题。我想简单说一点,在现在的背景下,选择采购的确是很被动的一个选择,本来说好的就是按需收费,按计算收费,但是长远来看,很可能是一个陷阱,就等着往里面钻,给你上套,各种话题不多说。从长远来看,自己培养的人员成本不少,但是自己掌握了真正的技术,有了能力,不在受制于人,这个还是值得的。
很多中小型公司一直很纠结,什么是大数据,怎么搞大数据,大数据能高出什么名堂,上了之后真的能带来好处吗......凡此种种,问题多于牛毛,结果可想而知。上面的领导不知道该不该搞,不知道怎么搞,不要知道能不能搞得好,往往就是拍脑袋,说好听了能摸石头过河,说不好听就是乱来。不过话也说回来,也有不少公司,说干就干,还也像模像样;
那么大数据项目该怎么搞呢?
有图有真相,一图胜千言:
这里有几点需要说明下:
1,下定决心搞,就是要明白基本的思路,有哪些风险,有哪些符合自己的业务需求,才下决心的,而不是为了所谓的政绩,为了所谓的概念,可惜很多人是奔着后面的几点去的;
2,做好准备,是做好了扎稳数据篱笆,对数据进行深耕细作,对数据进行长久的规划;
3,选择切入点,说的是选择从什么应用开始,适应业务,切入大数据之中,能够达到入门,熟悉,掌握,精通的循序渐进的方式方法;
说到切入点,这个是很好的话题,很多公司不知道从何入手,从什么业务切进去,以为是不是该什么都可以做,建立一个统一通用的大平台,然后就可以在上面睡大觉了。
这里举几个可以作为切入点的例子:
基于Hadoop的数据备份,由于HDFS作为分布式的文件存储是一个很好的选择,可以从这里切入;
基于Hbase的快速查询,Hbase是一个key-value的数据库,可以存储海量历史数据进行查询分析;
基于Hive的数据仓库,适应它来做数据的分析查询;
推荐引擎,根据用户的历史情况,有针对性的推送信息,是很多应用的必备的;
其他等等,可以选择某些作为自己的业务应用,逐步构建完整的数据闭环。
4,采购还是自己开发
这个也是有很多争议的地方,到底是自己来做还是采用别人的,说实在的从管理人员到开发人员,都是一个不小的话题。我想简单说一点,在现在的背景下,选择采购的确是很被动的一个选择,本来说好的就是按需收费,按计算收费,但是长远来看,很可能是一个陷阱,就等着往里面钻,给你上套,各种话题不多说。从长远来看,自己培养的人员成本不少,但是自己掌握了真正的技术,有了能力,不在受制于人,这个还是值得的。
相关文章推荐
- Haproxy+Keepalived搭建Weblogic高可用负载均衡集群
- webbench网站压力测试工具
- Onethink 系统架构 开发规划图
- 用PHP和HTML写一个简单的网站登录注册项目
- 整体架构CCCamera 摄像机
- hdfs架构分析与第一个hdfs应用程序
- 软件架构的典型组成部分-主要的类
- Java处理 网站高并发问题 的优化方法
- 集群资源共享的三种方式
- 安全类网站推荐
- 手机新闻阅读网站开发心得
- XXX网站直接修改Javascript变量提前修满学分
- 【DDD/CQRS/微服务架构案例】在Ubuntu 14.04.4 LTS中运行WeText项目的服务端
- <学习笔记> adr 与 ldr 的使用及两者的区别(基于ARM架构 )
- 分享手机兼容性测试一个很好的网站,腾讯优测
- 禁止网站显示文件目录列表的2个方法(htaccess)
- 用Wordpress搭建个人网站(2)
- 软件架构的典型组成部分-程序组织
- 高并发架构以及处理高并发的常见方法
- 免费科研资料下载网站记录