大数据技术原理与应用之【大数据处理架构Hadoop】习题
1.试述hadoop和谷歌的mapreduce、gfs等技术之间的关系
答:
Hadoop的核心是分布式文件系统HDFS和MapReduce,HDFS是谷歌文件系统GFS的开源实现,MapReduces是针对谷歌MapReduce的开源实现。
2.试述Hadoop具有哪些特性。
答:
高可靠性,高效性,高可扩展性,高容错性,成本低,运行在Linux平台,支持多种编程语言
3.试述Hadoop在各个领域的应用情况。
答:2007年,雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的Hadooop集群系统;
Facebook主要将Hadoop平台用于日志处理,推荐系统和数据仓库等方面;
百度主要使用Hadoop于日志的存储和统计、网页数据的分析和挖掘、商业分析、在线数据反馈、网页聚类等。
4.试述Hadoop的项目结构以及每个部分的具体功能。
答:
Commeon是为Hadoop其他子项目提供支持的常用工具,主要包括文件系统、RPC和串行化库。
Avro是为Hadoop的子项目,用于数据序列化的系统,提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持续性数据的文件集、远程调用的功能和简单的动态语言集成功能。
HDFS是Hadoop项目的两个核心之一,它是针对谷歌文件系统的开源实现。
HBase是一个提高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库,一般采用HDFS作为其底层数据存储。
MapReduce是针对谷歌MapReduce的开源实现,用于大规模数据集的并行运算。
Zoookepper是针对谷歌Chubby的一个开源实现,是高效和可靠的协同工作系统,提供分布式锁之类的基本服务,用于构建分布式应用,减轻分布式应用程序所承担的协调任务。
Hive是一个基于Hadoop的数据仓库工具,可以用于对Hadoop文件中的数据集进行数据整理、特殊查询和分布存储。
Pig是一种数据流语言和运行环境,适合于使用Hadoop和MapReducce平台上查询大型半结构化数据集。
Sqoop可以改进数据的互操作性,主要用来在Hadoop配合关系数据库之间交换数据。
Chukwa是一个开源的、用于监控大型分布式系统的数据收集系统,可以将各种类型的数据收集成适合Hadoop处理的文件,并保存在HDFS中供Hadoop进行各种 MapReduce操作。
- 点赞 5
- 收藏
- 分享
- 文章举报
- hadoop编程小技巧(6)---处理大量小数据文件CombineFileInputFormat应用
- 大数据处理架构Hadoop配置
- 大数据处理架构Hadoop
- 大数据处理架构Hadoop
- Hadoop 技术在电信运营商上网日志处理中的应用架构
- 大数据技术之_18_大数据离线平台_01_项目开发流程+大数据常用应用/分析平台/业务处理方式+数据分析平台的数据来源+数据处理的流程+项目集群的规模+需求分析+技术架构/选型
- Hadoop数据平台的应用架构
- 每天TB级数据处理,携程大数据高并发应用架构涅槃
- Hadoop 技术在电信运营商上网日志处理中的应用架构
- 大数据1-Hadoop架构体系及在各方面的应用
- 应用数据静态化架构高性能单页Web应用
- 从Hadoop框架与MapReduce模式中谈海量数据处理(淘宝技术架构)
- hadoop学习笔记二_MapReduce应用场景、原理、基本架构
- 大数据处理中锁的应用
- 流式大数据实时处理—技术、平台及应用
- 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)
- 【 D3.js 选择集与数据详解 — 5 】 处理模板的应用
- 大数据实时处理–Spark及BDAS技术应用
- Hortonworks首席技术官Eric Baldeschwieler:2015年,全球一半数据中都将通过Apache Hadoop来处理
- 基于Hadoop的数据仓库Hive的基本应用(一)||两种数据导入方法