【大数据技术】——Hadoop(1)
什么是大数据
基本概念
《数据处理》
在互联网技术发展到现今阶段,大量日常、工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据!
《处理海量数据的核心技术》
海量数据存储:分布式
海量数据运算:分布式
这些核心技术的实现是不需要用户从零开始造轮子的,存储和运算,都已经有大量的成熟的框架来用。
《存储框架》
HDFS——分布式文件存储系统(Hadoop中的存储框架)
HBASE——分布式数据库系统
KAFKA——分布式消息缓存系统(实时流式数据处理场景中应用广泛)
《运算框架》(要解决的核心问题就是帮用户将处理逻辑在很多机器上并行)
MAPREDUCE—— 离线批处理/Hadoop中的运算框架
SPARK——离线批处理/实时流式计算
STORM —— 实时流式计算
《辅助类的工具》(解放大数据工程师的一些繁琐工作)
HIVE —— 数据仓库工具:可以接收sql,翻译成mapreduce或者spark程序运行
FLUME——数据采集
SQOOP——数据迁移
ELASTIC SEARCH —— 分布式的搜索引擎
换个角度说,大数据是:
- 有海量的数据
- 有对海量数据进行挖掘的需求
- 有对海量数据进行挖掘的软件工具(hadoop、spark、storm、flink、tez、impala......)
大数据在现实生活中的具体应用
数据处理的最典型应用:公司的产品运营情况分析
电商推荐系统:基于海量的浏览行为、购物行为数据,进行大量的算法模型的运算,得出各类推荐结论,以供电商网站页面来为用户进行商品推荐
精准广告推送系统:基于海量的互联网用户的各类数据,统计分析,进行用户画像(得到用户的各种属性标签),然后可以为广告主进行有针对性的精准的广告投放
(adsbygoogle = window.adsbygoogle || []).push({});
- 数据分析≠Hadoop+NoSQL,不妨先看完善现有技术的10条捷径
- 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?
- 涵盖从java入门到深入架构,Linux、云计算、分布式、大数据Hadoop、ios、Android、互联网技术应有尽有
- [转]一文看懂大数据的技术生态圈,Hadoop,hive,spark都有了
- 五. 大数据技术之Hadoop(1)
- 大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术
- 后Hadoop时代的大数据技术思考:数据即服务
- 大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
- 阿里云大数据三次技术突围:Greenplum、Hadoop和飞天
- 一文教你看懂大数据的技术生态圈:Hadoop,hive,spark
- 大数据处理技术 - 基于Hadoop的实战
- 从事大数据开发想要拿高薪,除了hadoop和spark还需掌握哪些技术
- 大数据架构师基础:hadoop家族,Cloudera产品系列等各种技术
- 大数据处理技术-基于Hadoop/Yarn的大数据技术实战
- 基于Hadoop生态圈的数据仓库实践 —— 进阶技术(八)
- 大数据处理技术 - 基于Hadoop的实战
- 基于Hadoop生态圈的数据仓库实践 —— 进阶技术(十)
- 形象的描述大数据的技术生态以及Hadoop、Hive、Spark 之间关系
- 大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
- 如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?