hadoop日志分析系统一 Hadoop的认识

Hadoop是一个分布式的大数据处理平台核心组成：   HDFS分布式文件系统：高度容错的分布式文件存储系统MapReduce并行计算模型：一种计算的模型Common组件：hadoop的核心组件其它组件：   HBase：高可靠性、高性能、面向列、可伸缩的分布式存储系统Hive：数据仓库Sqoop：结构化数据与hadoop管理的数据进行转换ZooKerper：负责整个hadoop系统的协调，如统一命名、状体同步服务 核心思想：人多力量大，通过把大任务拆分成小任务进行执行，最后分析汇总设计思路：数据的存放和处理在同一台机器上，使用数据流的方式处理数据框架特点：方便、弹性、健壮、简单使用领域：半结构化或者非结构化的数据的分析处理