Hadoop学习系列(2.Hadoop框架介绍与搜索技术体系介绍)
2018-01-29 11:06
253 查看
第一天
2.Hadoop框架介绍与搜索技术体系介绍
2.Hadoop框架介绍与搜索技术体系介绍1.hadoop介绍
-》官网:http://hadoop.apache.org
-》hadoop商业三大发行版
-》Apache -》apache
-》cloudera -》CDH
-》hostonwork -》HDP
-》分布式
-》爬虫
-》存储(加硬盘,但是单台机器是有限的)&处理分析
-》快速查询
-》分开计算,结果合并
-》google-》Mapreduce论文
-》map
-》reduce
-》HDFS 文件系统和数据库是不一样的
-》HBase
-》搜索引擎的技术体系
-》数据获取
-》(外网,互联网抓取数据)
-》数据库
-》数据存储-》HDFS&Hbase
-》yarn操作系统
-》数据计算
-》sql实时查询(消息队列,监控系统)
-》辅助型框架,比如zookeeper
-》生成索引,搜索的索引(商品推荐和自己平时搜索的信息有关)
-》返回个前端用户
-》离线系统-》hadoop生态圈
-》数据获取
-》(外网,互联网抓取数据)
-》云存储
-》全量或者增量导入(同步到hbase当中,sql语句当中)
-》复杂离线处理的过程(job运行,业务的逻辑,表的join,字段的合并)
-》mapreduce(实现全量或者增量数据的更新)
-》其他的框架实现实时数据的更新
这样我整个的数据变化就可以实现秒级的速度 更新到搜索引擎
2.Hadoop框架介绍与搜索技术体系介绍
1. | 大数据典型特性与分布式开发难点 |
2. | Hadoop框架介绍与搜索技术体系介绍 |
3. | Hadoop版本与特性介绍 |
4. | Hadoop核心模块之HDFS分布式文件系统架构介绍 |
5. | Hadoop核心模块之Yarn操作系统架构介绍 |
6. | Linux安全禁用设置与JDK安装讲解 |
7. | Hadoop伪分布式环境部署HDFS部分 |
8. | Hadoop伪分布式环境部署Yarn和MR部分 |
9. | Hadoop环境使用常见的错误集合 |
10. | Hadoop环境常规设置与辅助功能讲解(-) |
11. | Hadoop环境常规设置与辅助功能讲解(二) |
12. | Windows环境下部署Eclipse插件注意事项 |
-》官网:http://hadoop.apache.org
-》hadoop商业三大发行版
-》Apache -》apache
-》cloudera -》CDH
-》hostonwork -》HDP
-》分布式
-》爬虫
-》存储(加硬盘,但是单台机器是有限的)&处理分析
-》快速查询
-》分开计算,结果合并
-》google-》Mapreduce论文
-》map
-》reduce
-》HDFS 文件系统和数据库是不一样的
-》HBase
-》搜索引擎的技术体系
-》数据获取
-》(外网,互联网抓取数据)
-》数据库
-》数据存储-》HDFS&Hbase
-》yarn操作系统
-》数据计算
-》sql实时查询(消息队列,监控系统)
-》辅助型框架,比如zookeeper
-》生成索引,搜索的索引(商品推荐和自己平时搜索的信息有关)
-》返回个前端用户
-》离线系统-》hadoop生态圈
-》数据获取
-》(外网,互联网抓取数据)
-》云存储
-》全量或者增量导入(同步到hbase当中,sql语句当中)
-》复杂离线处理的过程(job运行,业务的逻辑,表的join,字段的合并)
-》mapreduce(实现全量或者增量数据的更新)
-》其他的框架实现实时数据的更新
这样我整个的数据变化就可以实现秒级的速度 更新到搜索引擎
相关文章推荐
- SSM框架系列学习总结8之SpringMVC核心组件介绍
- hadoop学习笔记1(Hadoop的源起与体系介绍)
- 大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
- 大数据技术学习笔记之Hadoop框架基础4-MapReduceshuffer过程详解及zookeeper框架学习
- Hadoop学习笔记:(1)Hadoop体系介绍
- hadoop学习.分布式计算开源框架Hadoop介绍
- 开源搜索框架Lucene学习系列
- 【深度学习介绍系列之三】——十个值得一试的开源深度学习框架
- SpringMvc如何学习框架技术? 就像如上的图示一样,先掌握新技术的体系流程图。在快速弄明白程序执行流程后,在使用过程中 了解细节。
- 从零学习Hadoop--001Hadoop的起源与体系介绍
- 大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
- 学习Srping、SringMVC、Mybatis框架,模拟商城(第一节 技术介绍及需求)
- 大数据技术Hadoop入门理论系列之三--MapReduce框架原理简介
- 【ExtJs学习系列】Ext2.0框架的Grid使用介绍(五)
- 大数据学习篇:hadoop深入浅出系列之HDFS(二)——HDFS体系结构
- hadoop入门学习系列之二hadoop的mapreduce的wordcount流程介绍
- 大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
- 据技术Hadoop入门理论系列之一----hadoop生态圈介绍
- hadoop介绍(关于hadoop技术知识的学习笔记)
- Logstash学习系列之插件介绍