开始hadoop

hadoop介绍

分布式存储系统HDFS(Hadoop Distributed File System)，提供了高可靠性、高扩展性和高吞吐率的数据存储服务；

资源管理系统YARN(Yet Another Resource Negotiator)，负责集群资源的统一管理和调度，使得多种计算框架可以运行在一个集群中；

分布式计算框架(MapReduce)，具有易于编程、高容错性和高扩展性等特点的PB级以上海量数据的离线处理能力。

Hive(基于MR的数据仓库)，定义了一种类SQL查询语言——HQL，类似SQL，但不完全相同，通常用于进行离线数据处理(采用MapReduce)，可认为是HQL到MR的语言翻译器，是为了低成本进行数据分析(不直接编写MR)。

Pig，构建在Hadoop上的数据仓库，定义了一种数据流语言Pig-Latin，基于MR的ad-hoc数据分析工具，也用于离线分析，与Hive类似。

Mahout(数据挖掘库)，基于Hadoop的机器学习和数据挖掘分布式计算框架，实现了三大算法：推荐(Recommendation)、聚类(Clustering)、分类(Classification)、降维(Dimension Reduction)，可以直接利用里面的算法进行分析。

HBase(分布式数据库)，高可靠性、高性能、面向列、良好的扩展性。Table：表，类似于传统数据库中的表；Column Family：列簇，Table在水平方向上有一个或多个Column Family组成，一个Column Family中可以由任意多个Column组成；Row Key：行健，Table的主键，Table中的记录按照Row Key排序；Timestamp：时间戳，每行数据均对应一个时间戳和版本号。

Zookeeper(分布式写作任务)，解决分布式环境下的数据管理问题，统一命名、状态同步、集群管理、配置同步。

Sqoop(数据同步工具)，连接Hadoop与传统数据库之间的桥梁，支持多种数据库包括MySQL、DB2等，用户可根据需要支持新的数据库(插拔式)，其本质上是一个MapReduce程序。

Flume(日志收集工具)。

Oozie(作业流调度系统)，如母亲计算框架和作业类似繁多(MR Java、Streaming、HQL、Pig等)，如何对这些框架和作业统一管理和调度：不同作业之间存在依赖关系(DAG)、周期性作业、定时执行的作业、作业执行状态监控与报警(发邮件、短信)。

计算框架

在yarn上可以运行多种计算框架。

离线计算框架MapReduce


将计算过程分为两个阶段，Map和Reduce：Map 阶段并行处理输入数据；Reduce阶段对Map结果进行汇总；Shuffle连接Map和Reduce两个阶段；Map Task将数据写到本地磁盘；Reduce Task从每个Map Task上读取一份数据。特点是：仅适合离线批处理；具有很好的容错性和扩展性；适合简单的批处理任务；缺点也很明显：启动开销大、过多使用磁盘导致效率低下等，要求数据源是静态的，不能动态变化。

DAG计算框架Tez


多个应用程序之间存在数据依赖关系，后一个应用程序的输入为前一个的输出。并形成一个依赖关系有向图(Directed Acyclic Graph)，该图的计算称为"DAG计算"，Apache Tez：基于YARN的DAG计算框架，运行在YARN之上，充分利用YARN的资源管理和容错等功能；提供了丰富的数据流(dataflow)API；扩展性良好的" Input-Processor-Output"运行时模型；动态生成物理数据流关系。

流式计算框架Storm(实时计算)


流式(Streaming)计算，是指被处理的数据像流水一样不断流入系统，而系统需要针对每条数据进行实时处理和计算，并永不停止（直到用户显式杀死进程）；而传统做法：由消息队列和消息处理者组成的实时处理网络进行实时计算，因此传统做法缺乏自动化/健壮性/伸缩性差。

内存计算框架Spark


克服MapReduce在迭代式计算和交互式计算方面的不足；引入RDD(Resilient Distributed Datasets)数据表示模型；RDD是一个有容错机制，可以被并行操作的数据集合，能够被缓存到内存或磁盘上。

MapReduce 2.0与YARN


一个MR应用程序的成功运行需要若干模块：

任务管理和资源调度；


任务驱动模块(MapTask、ReduceTask)；

用户代码(Mapper、Reducer…)。


MapReduce 2.0和YARN区别


YARN是一个资源管理系统，负责资源管理和调度

MapReduce只是运行在YARN上的一个应用程序

如果把YARN看做" android"，则MapReduce只是一个" app"

hadoop版本

Hadoop发行版介绍(开源版)有下面三种：

Apache Hadoop


推荐使用最新的2.x.x版本，比如2.4.0

下载地址：http://hadoop.apache.org/releases.html

SVN： http://svn.apache.org/repos/asf/hadoop/common/branches/

CDH(Cloudera Distributed Hadoop)


推荐使用最新的CDH5版本， 比如

CDH4基于Apache Hadoop0.23.0版本开发

CDH5基于Apache Hadoop2.2.0版本开发

下载地址：http://archive.cloudera.com/cdh5/cdh/5/

HDP (Hortonworks Data Platform)


推荐使用最新的HDP 2.x版本， 比如HDP 2.1版本

下载地址： http://zh.hortonworks.com/hdp/downloads

hadoop下载

http://archive.apache.org/dist/ 可以看到所有apache下的项目

http://hadoop.apache.org

http://archive.apache.org/dist/hadoop/core/stable/ 稳定版hadoop下载

stable1是1.0的稳定版，stable2是2.0的稳定版

hadoop-2.2.0.tar.gz

hadoop-2.2.0-src.tar.gz

hadoop目录

bin：Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以直接使用这些脚本管理和使用Hadoop。

etc：Hadoop配置文件所在的目录，包括hadoop-env.sh、core-site.xml、 hdfs-site.xml、mapred-site.xml等从Hadoop 1.0继承而来的配置文件和yarn-site.xml等Hadoop 2.0新增的配置文件。

include：对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。

lib：该目录包含了Hadoop对外提供的编程动态库和静态库，与include目录中的头文件结合使用。

libexec：各个服务对应的shell配置文件所在目录，可用于配置日志输出目录、启动参数（比如JVM参数）等基本信息。

sbin：Hadoop管理脚本所在目录，主要包含HDFS和YARN中各类服务的启动/关闭脚本。

share：Hadoop各个模块编译后的jar包所在目录