浅谈Hadoop(二）——hadoop简介

浅谈Hadoop(二）——hadoop简介

本文翻译来源hadoop官网：http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#NameNode_and_DataNodes

namenode and datanodes
hdfs采用master/slave的架构模型。一个hdfs集群由一个namenode和若干个datanode组成。namenode管理文件系统的命名空间和来自客户端的对文件的访问。hdfs提供了文件系统命名空间允许存储用户数据到文件中。实际上，一个文件是被分割成一个或多个块，这些块被存储在datanode中。namenode对文件系统中的命名空间进行操作：打开、关闭、重命名文件或者文件夹。namenode也决定了namenode和块的存储关系。datanodes为系统客户的读写请求服务。datanodes还负责块的添加、删除、根据namenode的要求复制块。



namenode和datanode是软件的一部分。软件运行在装有GUN/Linux的操作系统的普通硬件上。hdfs使用java构建的，能够运行java的机器上就能够运行namenode和datanode。由于java的跨平台的特性，hdfs跨平台也十分容易。一个典型的部署是这样的，一台专门做namenode的机器，其余的机器每台都运行一个datanode。当然，不排除一台机器上运行多个datanodes的情况，但是这种情况在生产环境中很少见。