大数据离线处理和常用工具

1. 大数据离线处理特点

1) 数据量巨大且保存时间长；

2) 在大量数据上进行复杂的批量运算；

3) 数据在计算之前已经完全到位，不会发生变化；

4) 能够方便的查询批量计算的结果；

不像在线计算当前呈现的各种框架和架构，离线处理目前技术上已经成熟，大家使用的均是: 使用 Hdfs 存储数据，使用 MapReduce 做批量计算，计算完成的数据如需数据仓库的存储，直接存入 Hive , 然后从Hive 进行展现。

2. HDFS

Hdfs 是一种分布式文件系统，和任何文件系统一样 Hdfs 提供文件的读取，写入，删除等操作。Hdfs 是能够很好的解决离线处理中需要存储大量数据的要求。Hdfs和本地文件系统的区别如下：

- Hdfs 不支持随机读写；

- Hdfs 是分布式文件系统，支持数据多备份；

Hdfs 多备份数据存放策略： 第一个副本放在和client所在的node里（如果client不在集群范围内，则这第一个node是随机选取的，当然系统会尝试不选择哪些太满或者太忙的node）；第二个副本放置在与第一个节点不同的机架中的node中（随机选择）；第三个副本和第二个在同一个机架，随机放在不同的node中。如果还有更多的副本就随机放在集群的node里。

3. MapReduce

MapReduce 是一种分布式批量计算框架，分为 Map 阶段和 Reduce 阶段。 MapReduce 能够很好的解决离线处理中需要进行大量计算的要求。 MapReduce 从出现到现在经历了第一代 MapReduce v1 和 第二代 MapReduce Yarn。

Yarn 框架相对于老的 MapReduce 框架有以下优势:

1) 减小了 JobTracker的资源消耗，之前JobTracker 既负责资源分配，也负责任务监控，Yarn 将这两项任务分别交给了 ResourceManager 和 ApplicationMaster ，减少了之前 JobTracker 单点失败的风险；

2) MRv1 将资源分别 Map slot 和 Reduce slot 而且相互之前不能使用，Yarn将资源分别CPU、内存，相互之前能够通用，更加灵活也更加合理；

3) 现在大部分使用 YARN

3.1 Yarn 框架的组件功能

- ResourceManager: 负责资源的调度，由两个组件组成: 调度器和应用管理 ApplicationsManager (ASM) ；

- ApplicationsManager (ASM) :主要用于管理AM；

- ApplicationMaster (AM) :主要用于管理其对应的应用程序，如MapReduce作业，DAG作业等；

- NodeManager (NM):主要用于管理某个节点上的task和资源；

- Container :容器中封装了机器资源，如内存，CPU, 磁盘，网络等，每个任务会被分配一个容器，该任务只能在该容器中执行，并使用该容器封装的资源

4. Hive

Hive 是一种数据仓库，Hive 中的数据存储于文件系统( 大部分使用 Hdfs)，Hive 提供了方便的访问数据仓库中数据的 HQL 方法，该方法将 SQL 翻译成MapReduce。 能够很好的解决离线处理中需要对批量处理结果的查询。

Hive是对MapReduce和HDFS的高级封装，本身不存储表等相关信息。

Hive 将元数据存放在 metastore 中, Hive 的 metastore 有三种工作方式:

1) 内嵌Derby方式: 在同一时间只能有一个进程连接使用数据库；

2) Local方式 : 使用本地 Mysql 数据库存储元数据；

3) Remote方式: 使用远程已经搭建完成的 Mysql 数据库存储元数据;(实际使用此方式)

4.1 Hive架构