hadoop 的HDFS文件系统

一，NameNode 元数据节点：管理文件系统

secondary namenode从元数据节点：元数据节点的别用节点

二，DataNode 数据节点：存储数据的地方

1）客户端向其请求读取或写入文件,元数据节点发起

2）周期性的想元数据节点回报当前存储的数据快信息

三，Block数据块：最基本的存储单位，默认64m,当一个文件大小小于一个数据块的大小时，并不会占用整个数据块的空间

write

1），Client向NameNode发起文件写入的请求。

2），NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。

30,Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

read

1),Client向NameNode发起文件读取的请求。

2),NameNode返回文件存储的DataNode的信息。

3),Client读取文件信息。

简单操作：

当前HDFS的基本信息

$:hadoop dfsadmin -report

Configured Capacity: 15217328128 (14.17 GB)

Present Capacity: 8593608704 (8 GB)

DFS Remaining: 8593297408 (8 GB)

DFS Used: 311296 (304 KB)

DFS Used%: 0%

Under replicated blocks: 1

Blocks with corrupt replicas: 0

Missing blocks: 0

-------------------------------------------------

Datanodes available: 1 (1 total, 0 dead)

Name: 127.0.0.1:50010

Decommission Status : Normal

Configured Capacity: 15217328128 (14.17 GB)

DFS Used: 311296 (304 KB)

Non DFS Used: 6623719424 (6.17 GB)

DFS Remaining: 8593297408(8 GB)

DFS Used%: 0%

DFS Remaining%: 56.47%

Last contact: Tue Dec 11 01:16:30 CST 2012

列出HDFS的文件

$；hadoop fs -ls

Found 2 items

-rw-r--r-- 3 sin supergroup 13 2012-12-05 01:43 /user/demo.txt

drwxr-xr-x - sin supergroup 0 2012-11-18 15:17 /user/docs

cat；

$ hadoop fs -cat /user/demo.txt
test-测试