hadoop运行环境搭建
模板虚拟机环境准备
系统安装
配置硬件
在vmware上使用centos7.5的镜像安装模板虚拟机,其中虚拟机名称为hadoop100,虚拟机ip设置为192.168.10.100,内存和硬盘按具体情况分配。
安装时可选择自定义安装,选择稍后安装操作系统,这样可以献给模板虚拟机配置资源,资源配置完成后,在选择相应的镜像安装系统。
在自定义创建虚拟机时,vmware提供了三种网络链接类型:桥接模式,NAT模式,仅主机模式。
具体区别请参考VMware中四种网络连接模式的区别。
注意:安装系统时需要打开电脑的虚拟化技术,可在bios中进行开启。可以在任务管理器中查看电脑是否开启虚拟化技术。
配置软件
时间:当前系统时间,未联网时无法同步网络时间,安装完成网络连接成功后可以自行设置。
软件选择:在生产环境下,一般都会选择最小安装。学习阶段,可以选择GNOME桌面(图像化桌面)以方便学习。
安装位置:选择我要配置分区(手动分配分区),之后点击完成将进行手动分配。分配一个挂载点/boot,1g,文件系统选择ext4(系统启动时需要的资源);分配一个挂载点swap,4g(在内存不够用时,将使用硬盘当作内存继续运行,速度会减慢);分配一个挂载点根目录/ ,45g
KDUNP:系统崩溃时,崩溃前夕将备份一部分数据。需要开辟一块内存来备份崩溃的数据。学习阶段为了节省资源可以关闭。
网络和主机名:打开以太网,如果显示被拔出需要去windows服务中开启VMware DHCP Service”和”VMware NAT Service“服务。
安全策略:保持默认的打开。
- 设置完成之后根据提示重启,进入系统桌面即安装完成。
配置ip地址
配置vmware的ip地址
在vmware编辑处进入虚拟网络编辑器,配置VMnet8适配器的子网为192.168.10.0。
将NAT设置中,网关设置成192.168.10.2(网关一般都为2)。
配置windows下vmware相应的网络适配器的ip地址
配置虚拟机linux的ip地址
在root用户下配置ens33网络适配器的配置文件
vim /etc/sysconfig/network-scripts/ifcfg-ens33
配置文件为
YPE="Ethernet" PROXY_METHOD="none" BROWSER_ONLY="no" BOOTPROTO="static" #这里的dhcp动态获取ip改为static静态获取ip DEFROUTE="yes" IPV4_FAILURE_FATAL="no" IPV6INIT="yes" IPV6_AUTOCONF="yes" IPV6_DEFROUTE="yes" IPV6_FAILURE_FATAL="no" IPV6_ADDR_GEN_MODE="stable-privacy" NAME="ens33" UUID="e24fd100-16d6-4705-b22c-51addb7b22e5" #随机id DEVICE="ens33" #接口名(设备,网卡) ONBOOT="yes" #系统启动的时候网络接口是否有效(yes/no) #添加静态ip地址 IPADDR=192.168.10.100 #添加网关 GATEWAY=192.168.10.2 #添加域名解析器 DNS1=192.168.10.2
修改主机名称
vim /etc/hostname #将文件修改为 hadoop100
在hosts中添加主机名称映射
vim /etc/hosts #在hosts中添加 192.168.10.100 hadoop100 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.103 hadoop103 192.168.10.104 hadoop104 192.168.10.105 hadoop105
添加后重启,并检查是否设置成功
hostname #检查主机名称 ifconfig #检查ip地址 ping baidu.com #检查网络是否连通
安装epel-release
Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包,适用于RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库,大多数rpm包在官方repository是找不到的
yum install -y epel-release
最小系统安装插件
如果Linux安装的是最小系统,还需要安装如下工具。如果安装时选择的是桌面标准版,则不需要安装。
安装net-tool:工具包含集合,包含ifconfig等指令
yum install -y net-tools
vim编辑器
yum install -y vim
关闭防火墙
在企业开发时,通常单个服务器的防火墙是关闭的。公司整体对外会设置非常安全的防火墙。
systemctl stop firewalld systemctl disable firewalld.service
配置个人用户root权限
方便后期使用个人用户时可以在命令前加 sudo 执行root权限命令
vim /etc/sudoers
修改/etc/sudoers文件,在%wheel这行下面添加一行
## Allow root to run any commands anywhere root ALL=(ALL) ALL ## Allows people in group wheel to run all commands %wheel ALL=(ALL) ALL
boqiang ALL=(ALL) NOPASSWDL:ALL
注意:boqiang这一行不能直接放到root行下面,因为所有用户都属于wheel组,你先配置了boqiang具有免密功能,但是程序执行到%wheel行时,该功能又被覆盖回需要密码。所以boqiang要放到%wheel行下面。
创建集群所需文件夹
- 在/opt下创建module、software文件夹
mkdir /opt/software mkdir /opt/module
2)修改文件夹权限所有者和所属组均为boqiang
chown boqiang:boqiang /opt/module chown boqiang:boqiang /opt/software
卸载自带的JDK
如果是最小化安装可以忽略此项
rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
rpm -qa:查询所安装的所有rpm包。
grep -i:忽略大小小。
xargs -n1:表示每次只传递一个参数。
rpm -e --nodeps:强制卸载软件。
克隆三台模板虚拟机并配置环境
克制三台虚拟机
- 直接右键虚拟机>管理>克隆
将克制的虚拟机命名为hadoop102,注意创建克隆时需要创建完整克隆,不能使用链接克隆。
- 以此方法继续克隆hadoop103,hadoop104。
克隆虚拟机的环境配置
配置ip地址
修改三台虚拟机的网络适配器文件,参考配置虚拟机linux的ip地址
修改主机名称
修改三台虚拟机的主机名称
vim /etc/hostname
全部配置完成之后reboot,并检查
在hadoop102安装jdk
- 将jdk文件拷贝到/opt/software
- 解压,将jdk解压到/opt/module
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module
在hadoop102安装hadoop
- 将hadoop文件拷贝到/opt/software
- 解压,将hadoop解压到/opt/module
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module
配置环境变量
- 以前可以在/etc/profile文件上直接声明环境变量
- 现在可以在/etc/profile.d目录下创建声明环境变量的文件,系统启动时就会加载这个目录里面的文件让其生效
- 我们在此目录下创建自己的环境变量文件
sudo vim /etc/profile.d/my_env.sh
- my_env.sh
#JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_212 export PATH=$PATH:$JAVA_HOME/bin #HADOOP_HOME export HADOOP_HOME=/opt/module/hadoop-3.1.3 export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin
- 配置完成后使用source使配置生效
source /etc/profile
从hadoop102向其他虚拟机传递jdk和hadoop
使用scp命令将jdk从hadoop102传递给hadoop103
scp -r jdk1.8.0_212/ boqiang@hadoop103:/opt/module/
使用scp命令将hadoop从hadoop103拉取hadoop102的hadoop
scp -r boqiang@hadoop102:/opt/module/hadoop-3.1.3 /opt/module/
在hadoop103中使用scp命令将jdk从hadoop102拷贝给hadoop104
scp -r boqiang@hadoop102:/opt/module/jdk1.8.0_212/ boqiang@hadoop104:/opt/module/
**关于 rsync **
主要用于备份和镜像。具有速度快、避免重复复制相同内容和支持符号链接的有点。第一次使用时等同于scp,因为rsync只对差异文件做更新,而scp是将所有文件都复制过去。
rsync -av $pdir/$fname $user@host:$pdir/$fname # -a 表示归档拷贝 # -v 表示显示复制过程
完全分布式运行模式准备
集群分发脚本
需求: 循环复制文件到所有节点的相同目录下
期望分析:
[ol] rsync 命令原始拷贝
rsync -av /opt/module boqiang@hadoop103:/opt/
b. 期望脚本: xsync 要同步的文件名称 c. 期望脚本在任何路径都能使用(脚本放在声明了全局环境变量的路径)
[boqiang@hadoop102 ~]$ echo $PATH /usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/home/boqiang/.local/bin:/home/boqiang/bin:/opt/module/jdk1.8.0_212/bin
脚本实现
[ol] 在/home/boqiang/bin 目录下创建 xsync 文件
[boqiang@hadoop102 opt]$ cd /home/boqiang [boqiang@hadoop102 ~]$ mkdir bin [boqiang@hadoop102 ~]$ cd bin [boqiang@hadoop102 bin]$ vim xsync
在文件中编写如下代码
#!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop102 hadoop103 hadoop104 do echo ==================== $host ==================== #3. 遍历所有目录,挨个发送 for file in $@ do #4. 判断文件是否存在 if [ -e $file ] then #5. 获取父目录 pdir=$(cd -P $(dirname $file); pwd) #6. 获取当前文件的名称 fname=$(basename $file) ssh $host "mkdir -p $pdir" rsync -av $pdir/$fname $host:$pdir else echo $file does not exists! fi done
b. 修改脚本 xsync 具有执行权限
[boqiang@hadoop102 bin]$ chmod +x xsync
c. 测试脚本
[boqiang@hadoop102 ~]$ xsync /home/atguigu/bin
d. 将脚本复制到/bin 中,以便全局调用
[boqiang@hadoop102 bin]$ sudo cp xsync /bin/
e. 同步环境变量配置(root 所有者)
[boqiang@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh
注意:如果用了 sudo,那么 xsync 一定要给它的路径补全。 让环境变量生效
[boqiang@hadoop103 bin]$ source /etc/profile[boqiang@hadoop104 opt]$ source /etc/profile
ssh免密登录
免密登录原理
注意: 免密登录是单向的, 这里A访问B无需密钥, 但是B访问A仍需要密钥.
生成公钥和私钥
[boqiang@hadoop102 ~]$ ls -al [boqiang@hadoop102 ~]$ cd .ssh/ [boqiang@hadoop102 ~]$ pwd /home/boqiang/.ssh #生成公钥和私钥 [boqiang@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲(三个回车),就会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)
- 将公钥拷贝到要免密登录的目标机器上
#ssh访问自己也需要密码,所以需要对自己也配置免密登录 [boqiang@hadoop102 .ssh]$ ssh-copy-id hadoop102 [boqiang@hadoop102 .ssh]$ ssh-copy-id hadoop103 [boqiang@hadoop102 .ssh]$ ssh-copy-id hadoop104
注意:所配置的免密登录只对单个用户满足, 如果只配置了boqiang用户,那么root用户不能够免密登录. 还需要在 hadoop103 上采用 boqiang 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。 还需要在 hadoop104 上采用 boqiang 账号配置一下无密登录到 hadoop102、hadoop103、hadoop104 服务器上。 还需要在 hadoop102 上采用 root 账号,配置一下无密登录到 hadoop102、hadoop103、hadoop104;
集群配置
集群部署规划
NameNode 和 SecondaryNameNode 不要安装在同一台服务器。- ResourceManager 也很消耗内存,不要和 NameNode、SecondaryNameNode 配置在同一台机器上。
配置文件说明
Hadoop配置文件分两类:默认配置文件和自定义配置文件,只有用户想修改某一默认配置值时,才需要修改自定义配置文件,更改相应属性值。
-
默认配置文件:
要获取的默认文件 | 文件存放在 Hadoop 的 jar 包中的位置 |
[core-default.xml] | hadoop-common-3.1.3.jar/core-default.xml |
[hdfs-default.xml] | hadoop-hdfs-3.1.3.jar/hdfs-default.xml |
[yarn-default.xml] | hadoop-yarn-common-3.1.3.jar/yarn-default.xml |
[mapred-default.xml] | hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml |
2) 自定义配置文件: **core-site.xml** 、**hdfs-site.xml** **、** **yarn-site.xml**、**mapred-site.xml** 四个配置文件存放在$HADOOP_HOME/etc/hadoop 这个路径上,用户可以根据项目需求重新进行修改配置。
配置集群
1)核心配置文件
配置 core-site.xml
[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop [atguigu@hadoop102 hadoop]$ vim core-site.xml
内容如下
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定 NameNode 的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop102:8020</value> </property> <!-- 指定 hadoop 数据的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/module/hadoop-3.1.3/data</value> </property> <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu --> <property> <name>hadoop.http.staticuser.user</name> <value>atguigu</value> </property> </configuration>
2)hdfs配置文件 配置 hdfs-site.xml
[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml
配置文件如下
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- nn web 端访问地址--> <property> <name>dfs.namenode.http-address</name> <value>hadoop102:9870</value> </property> <!-- 2nn web 端访问地址--> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop104:9868</value> </property> </configuration>
3)YARN配置文件 配置 yarn-site.xml
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定 MR 走 shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 ResourceManager 的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop103</value> </property> <!-- 环境变量的继承 --> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP RED_HOME</value> </property> </configuration>
4)MapReduce 配置文件 配置 mapred-site.xml
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml
文件内容如下:
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- 指定 MapReduce 程序运行在 Yarn 上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
- 在集群上分发配置好的Hadoop配置文件
[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/
- 查看分发情况
[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml [atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
- CentOS 7+Hadoop-2.7.2的hadoop环境搭建(三)完全分布式运行模式
- Ubuntu系统下使用Eclipse搭建hadoop2.4运行环境
- Hadoop2.x实战:Eclipse本地开发环境搭建与本地运行wordcount实例
- Ubuntu系统下使用eclipse搭建Hadoop2.7.1运行环境
- CentOS 7+Hadoop-2.7.2的hadoop环境搭建(二)伪分布式运行模式
- Hadoop运行环境搭建及运行模式
- 搭建Eclipse运行hadoop案例的环境
- 简单搭建hadoop运行环境
- Hadoop运行环境搭建(1)--Linux
- hadoop初识之三:搭建hadoop环境(配置HDFS,Yarn及mapreduce 运行在yarn)上及三种运行模式(本地模式,伪分布式和分布式介)
- Hadoop运行环境的简单搭建
- Windows下通过Cygwin搭建Hadoop 1.0.4 运行环境
- Win7下快速搭建hadoopEclipse运行环境--方案
- Hadoop运行环境搭建教程
- Eclipse下搭建Hadoop开发环境,并运行第一个实例
- 使用VirtualBox虚拟机搭建hadoop运行环境,
- 搭建Hadoop伪分布式环境,及运行wordcount程序总结
- Hadoop 2.x环境搭建之三配置部署启动YARN及在YARN上运行MapReduce程序
- hadoop运行环境的搭建
- Eclipse下搭建Hadoop开发环境,并运行第一个实例