【Hadoop】如何形象描述大数据生态?
2016-09-07 11:54
225 查看
作者:千岁大王
链接:https://www.zhihu.com/question/27974418/answer/39845635
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
Google内部早就开始玩大数据,发现时代跟不上他们的节奏,担心技术后继无人,于是发表了三篇论文(搜下gfs bigtable mapreduce)。有几个工作不饱和,整天没事干的人,想搞个开源的网页搜索(lucene nutch)。看到那三篇论文被震惊了,于是开始依葫芦画瓢,在一个二流的互联网公司(Yahoo)开始实践。这正中Google下怀。倒腾几下,出来了一头大象(hadoop),这只是个代号而已。大数据,不仅仅是存储海量的数据,更强调利用好数据的价值,这就是分析和计算。好比一个庞大的原子弹研发团队,爱因斯坦只有一个,把爱因斯坦压榨成疯子模样也只是杯水车薪,但是可以往里面投入能力差一点、各个大学、研究机构量产的、也有一定能力的学渣们(我靠),来一起搞,人海战术被证明是可行的,因为cpu不就是很多二极管(2货们)组成的嘛。每个学渣要能记住一些信息和处理一些信息。这就是分布式存储和计算(hdfs mapreduce),上层由爱因斯坦之类的来统一把控。好吧,开始跑,罗斯福问爱因斯坦,学渣们靠得住吗。爱因斯坦回答,这个系统本来就假设学渣们靠不住,他们天天dota,泡妹子,但系统有足够好的容错性,一个不行就换另一个,一个太慢就两个一起跑,谁快用谁,内部还有信用机制和黑名单呢。罗斯福说,我看行。
链接:https://www.zhihu.com/question/27974418/answer/39845635
来源:知乎
著作权归作者所有,转载请联系作者获得授权。
Google内部早就开始玩大数据,发现时代跟不上他们的节奏,担心技术后继无人,于是发表了三篇论文(搜下gfs bigtable mapreduce)。有几个工作不饱和,整天没事干的人,想搞个开源的网页搜索(lucene nutch)。看到那三篇论文被震惊了,于是开始依葫芦画瓢,在一个二流的互联网公司(Yahoo)开始实践。这正中Google下怀。倒腾几下,出来了一头大象(hadoop),这只是个代号而已。大数据,不仅仅是存储海量的数据,更强调利用好数据的价值,这就是分析和计算。好比一个庞大的原子弹研发团队,爱因斯坦只有一个,把爱因斯坦压榨成疯子模样也只是杯水车薪,但是可以往里面投入能力差一点、各个大学、研究机构量产的、也有一定能力的学渣们(我靠),来一起搞,人海战术被证明是可行的,因为cpu不就是很多二极管(2货们)组成的嘛。每个学渣要能记住一些信息和处理一些信息。这就是分布式存储和计算(hdfs mapreduce),上层由爱因斯坦之类的来统一把控。好吧,开始跑,罗斯福问爱因斯坦,学渣们靠得住吗。爱因斯坦回答,这个系统本来就假设学渣们靠不住,他们天天dota,泡妹子,但系统有足够好的容错性,一个不行就换另一个,一个太慢就两个一起跑,谁快用谁,内部还有信用机制和黑名单呢。罗斯福说,我看行。
相关文章推荐
- 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?
- 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系
- 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?
- 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?
- 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?
- 形象的描述大数据的技术生态以及Hadoop、Hive、Spark 之间关系
- 【知乎】能不能用形象的比喻描述一下大数据的技术生态?
- 每一天都有更多的数据、用户和应用在加入Apache Hadoop这个日益壮大的集群中来。虽然对于整个数据驱动的组织来说这是一个好消息,但对于安全管理员和监察人员来说,如何让终端用户在现存的Hadoop
- 在Activity之间如何传递数据,请尽可能说出你所知道的传递数据的方法,并详细描述其实现过程。
- Hadoop集群配置中如何写入和读取数据?
- 利用shell 生成 hadoop 实验大数据 以及如何获取时间戳
- 《数据集成成为Hadoop保驾护航》久经验证的降低数据管理成本的创新之路,如何来权衡创新&成本?
- 如何在美国公司写project plan 邮件--以hadoop安装和Mahout数据分析为例子
- 数据密集、计算密集、IO密集,hadoop如何应对?
- 如何避免Hadoop streaming 自动给单行数据加tab
- sql server中如何为数据表添加表的描述MS_Description
- 新一代Hadoop大数据挖掘平台和生态介绍
- hadoop mr的数据流程交互简单描述
- IT技术实效主义者的一些工具(如何阅读实用性的书\IT技术水平\如何描述数据模型)
- hadoop mr的数据流程交互简单描述