hadoop学习第二天-了解HDFS的基本概念&&分布式集群的搭建&&HDFS基本命令的使用
一、HDFS的相关基本概念
1.数据块
1、在HDFS中,文件诶切分成固定大小的数据块,默认大小为64MB(hadoop2.x以后是128M),也可以自己配置。
2、为何数据块如此大,因为数据传输时间超过寻到时间(高吞吐率)。
3、文件的存储方式,按大小被切分成若干个block,存储在不同的节点上,默认情况下每个block有三个副本。
2.复制因子
就是一个block分为多少个副本,默认情况下是3个
3.fsimage文件作用:
fsimage是元数据镜像文件(保存文件系统的目录树)。
4.edits文件作用
fsedits 是元数据操作日志(记录每次保存fsimage之后到下次保存之间的所有hdfs操作)。
5.安全模式
当开启安全模式后,对文件的修改和删除都会有错误提示
enter 进入安全模式
leave 离开安全模式
get 返回安全模式是否开启的信息
6.NameNode
(HA集群启动时,可以同时启动2个NameNode。这些NameNode只有一个是active的,另一个属于standby状态)
作用是一个文件系统树,文件树中的文件和文件夹中的元数据。
namenode负责管理文件目录,文件和block的对应关系以及block和datanode的对应关系。
由两部分组成:
1.fsimage;
2.fsedits:
7.DataNode
作为NameNode的工作节点,根据客户端或者NameNode的调度存储和检索数据,
当客户端请求读或写时,NameNode会告知客户端去哪些DataNode进行读写,
然后客户端直接与相应的DataNode进行通信
8.SecondaryNameNode
由于Edit log不断增长,在NameNode重启时,会造成长时间NameNode处于安全模式,不可用状态,是非常不符合Hadoop的设计初衷。
所以要周期性合并Edit log,但是这个工作由NameNode来完成,会占用大量资源,这样就出现了Secondary NameNode,它可以进行image检查点的处理工作。步骤如下:
(1)Secondary NameNode请求NameNode进行edit log的滚动(即创建一个新的edit log),将新的编辑操作记录到新生成的edit log文件;
(2)通过http get方式,读取NameNode上的fsimage和edits文件,到Secondary NameNode上;
(3)读取fsimage到内存中,即加载fsimage到内存,然后执行edits中所有操作(类似OracleDG,应用redo log),并生成一个新的fsimage文件,即这个检查点被创建;
(4)通过http post方式,将新的fsimage文件传送到NameNode;
(5)NameNode使用新的fsimage替换原来的fsimage文件,让(1)创建的edits替代原来的edits文件;并且更新fsimage文件的检查点时间。
关系图如下:
二、分布式集群的搭建
1.环境说明
在学习一中,已经配置好了伪分布式集群,即一个节点的集群测试。要搭的是在此基础上搭建的三个节点的集群
即master作为NameNode节点,slaver1 slaver2 作为DataNode节点
2.分布式集群搭建
1.创建三个虚拟机(通过vmware的克隆功能,直接克隆之前创建的qjx主机,然后修改主机名和IP地址,根据自己内存大小分配虚拟机内存)主机名和IP分别为
master | 192.168.32.10 |
slaver1 | 192.168.32.11 |
slaver2 | 192.168.32.12 |
2.三个主机都关闭防火墙(root)
/etc/init.d/iptables stop
3.修改hosts文件,将IP和主机名添加到最后一行
vim /etc/hosts 192.168.32.10 master 192.168.32.11 slaver1 192.168.32.12 slaver2
4.添加三个主机的互信操作
ssh-keygen ssh-copyid master ssh-copyid slaver1 ssh-copyid slaver2
5.修改配置文件 hadoop-2.6.0/etc/hadoop/slaves.xml 添加子节点的主机名
vim hadoop-2.6.0/etc/hadoop/slavers slaver1 slaver2
6.修改配置文件 hadoop-2.6.0/etc/hadoop/core-site.xml(tmp.dir配置中,目录可以根据自己主机更改)
<property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/qjx/hadoop/hadoop-2.6.0/dataSoft/tmp</value> <description>Abasefor other temporary directories.</description> </property>
7.修改配置文件 hadoop-2.6.0/etc/hadoop/hdfs-site.xml(目录配置为自己新建的一个临时目录,为了存储每次进入的临时文件,若没有指定,即为/tmp/下,每次进入主机都要改变)
<property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/home/qjx/dataSoft/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/home/qjx/dataSoft/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property>
8.修改配置文件 hadoop-2.6.0/etc/hadoop/mapred-site.xml(本来不存在,由hadoop-2.6.0/etc/hadoop/mapred-site.xml.temp文件复制来)
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
9.修改配置文件 hadoop-2.6.0/etc/hadoop/yarn-site.xml
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8035</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property>
10.将配置好的master的配置文件拷贝到slaver1,slaver2的配置文件中
scp -r hadoop-2.6.0/ etc/hadoop/*@slave1:~/hadoop/hadoop-2.6.0/etc/hadoop/ scp -r hadoop-2.6.0/ etc/hadoop/*@slave2:~/hadoop/hadoop-2.6.0/etc/hadoop/
11.格式化HDFS,在hadoop-2.6.0目录下执行
bin/hdfs namenode -format
注意:格式化只能操作一次,如果因为某种原因,集群不能用, 需要再次格式化,需要把上一次格式化的信息删除,在三个节点用户根目录里执行 rm -rf /home/qjx/hadoop/hadoop-2.6.0/dfs/*
12.在master节点执行sbin/start-all.sh 输入jps后,master节点显示4条,slaver1,slaver2节点各显示3条为配置正确
三、HDFS基本命令的使用
HDFS文件系统与Linux文件系统类似,都是从/根目录开始
1.上传
bin/hadoop fs -put 本地文件 hdfs文件路径 示例:bin/hadoop fs -put ~/put/test.txt /
2.下载
bin/hadoop fs -get hdfs文件 本地文件路径 示例:bin/hadoop fs -get /test ~/get/
3.查看文件列表
bin/hadoop fs -ls 文件路径 示例:bin/hadoop fs -ls /
4.查看文件内容
bin/hadoop fs -cat hdfs文件 示例:bin/hadoop fs -cat /test.txt
5.创建目录
创建一级目录 bin/hadoop fs -mkdir /aaa 创建多级目录 bin/hadoop fs -mkdir -p /a/b/c/
6.删除目录
bin/hadoop fs -rmdir /aaa
7.删除文件
删除文件
bin/hadoop fs -rm /test.txt
删除目录(非空)
bin/hadoop fs -rm -r /a//b/c
- hadoop学习第二天~Hadoop2.6.5完全分布式集群搭建和测试
- DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建
- 使用Docker在本地搭建Hadoop分布式集群 的错误总结(持续更新)
- hadoop学习笔记之<hadoop fs和hdfs dfs命令>
- 使用docker搭建hadoop分布式集群
- 使用Docker在本地搭建Hadoop分布式集群
- [笔记]hadoop2.4.1伪分布式集群搭建\hdfs入门
- hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建
- 深入学习Hadoop 1- HDFS的基本概念
- 深入学习Hadoop-HDFS的基本概念
- 开始hadoop前的准备:ubuntu学习笔记-基本环境的搭建(ssh的安装,SecureCRT连接,vim的安装及使用、jdk的安装)
- hadoop学习(三)------搭建分布式集群
- 详解使用docker搭建hadoop分布式集群
- Ambari学习7_使用ambari搭建hadoop集群(local)
- 搭建基于hadoop 2.2.0的分布式集群启动时出现 "Unable to load native-hadoop library for your platform" 的解决方案
- 使用docker搭建部署hadoop分布式集群
- Hadoop2学习记录(1) |HA完全分布式集群搭建
- 搭建高可用的分布式hadoop2.5.2集群 HDFS HA
- 使用docker搭建hadoop分布式集群