hadoop-hdfs学习笔记

1 snn:secondry namenode 和namenode不在同一机器就可以，存储一部分metadata的存储，主要帮助namenode合并edits的操作日志,减少NN合并的时间。

2 datanode:通过向NN发送心跳保持与其联系（3秒一次），如果NN10分钟没有收到DN的心跳，则认为其已经lost,并copy其上的block到其他DN

3 block存放策略：第一个放在上传文件的DN，第二个副本放在不同机架的一个节点，第三个副本放在与第二个副本相同机架的节点，更多副本随机节点

4 HDFS的文件权限：谁上传的文件的owner就是哪个用户

hadoop不进行密码认证；

5 hadoop安全模式：namenode启动时，首先将fsimage载入内存，等待datenode汇报信息，此阶段不能进行读写删，只能看到有哪些文件；

6 core-site.xml hadoop.tmp.dir 设置hadoop的工作目录 配置namenode

7 hdfs-site.xml dfs.replication 副本数，默认是3

8 slaves中配置datanode；

9 masters中配置secondnamenode

hdfs-site.xml中配置

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>192.168.1.111:50090</value>

</property

10 集群间配置文件要一致

11 ssh 远程登录 scp .ssh/id_rsa.pub chenlb@192.168.1.181:/home/chenlb/id_rsa.pub

12 hadoop缺点：不适合低延迟，小文件，并发写入随机修改数据；仅支持append

13 hadoop优点：高容错，适合批处理，适合大数据处理10K节点，可以架构在廉价服务器上。

14 hdfs数据存储单元block：默认大小是64M,可配置，若文件大小不到64M则单独成一个快。

15 block的位置信息不会保存在fsimage，edits记录对metadata的操作日志

16 0.23.X没有NN HA hadopp分几个并行系列版本1.2.X,2.6.X，2.7.X,0.23.X。