hadoop HDFS 文件系统

存储极大数目的信息（terabytes or petabytes），将数据保存到大量的节点当中。支持很大单个文件。

提供数据的高可靠性，单个或者多个节点不工作，对系统不会造成任何影响，数据仍然可用。。

提供对这些信息的快速访问，并提供可扩展的方式。能够通过简单加入更多服务器的方式就能够服务更多客户端。

HDFS是针对MapReduce设计的，使的数据尽可能根据其本地局部性进行访问与计算。

HDPS 的特点

.他适用于在分布式存储和处理。

.Hadoop 提供的命令接口与 HDFS 进行交互。

.名称节点和数据节点的帮助用户内置的服务器能够轻松检查集群的状态。

.流式访问文件系统数据。

.HDPS 提供了文件权限和验证。

HDFS 架构



名称节点-Namenade

名称节点是包含GUN/Linux 操作和软件名称节点的普通硬件。它是一个可以在商品硬件上运行的软件。具有名称节点系统作为主服务器，他执行以下任务：

1.管理文件系统命名空间

2.规范客户端对文件的访问。

3.它也执行文件操作系统，如重命名，关闭和打开文件和目录。

块

一般用户数据存储在HDFS文件。在一个文件系统中的文件将被划分为一个或多个段和/或存储在个人数据的节点。这些文件段被称为块。数据的HDFS可以读取或写入的最小被称为一个块。缺省的块大小为 64MB ，可以变更大小，需要更改HDFS配置来实现。

HDFS的目标

.故障检测和恢复：由于HDFS包括大量的普通硬件，部件故障频繁。因此HDFSy应该具有快速和自动故障检测和恢复机制。

.巨大的数据集：HDFS有数百个集群节点来管理庞大的数据集的应用程序。

.数据硬件：请求的任务，当计算机发生不久的数据可以高效的完成。涉及巨大的数据集特别是它减少了网络通信量，并增加了吞吐量。