hadoop伪分布式搭建

因为hadoop伪分布式我已在本地搭建并且运行成功。为了加快学习不足同时分享搭建。直接将不足贴出来，如有不同意见还忘评价共同提升。

Hadoop 伪分布模式 HDFS+YARN
另外补充下: hadoop2.0之后不包含MapReduce;
环境搭建准备: 
1,VMware  安装
如果你使用的事VirtualBox 必须将电脑虚拟化。通过开机的时候进入BIOS 找到Virtualization.



将Virtualization 设置为Enabled;

2.下载 Centos6.6 镜像
官网地址：http://vault.centos.org/6.6/isos/x86_64/CentOS-6.6-x86_64-bin-DVD1.iso
链接：http://pan.baidu.com/s/1bpqOQhL 密码：z02w
3. 新建虚拟电脑注意：
1，hadoop分布式是采用桥接模式通信。建议不要使用NAT模式。其他准备工作就不需要讲了很简单。在liunx环境中搭建框架的基本都知道。
2， liunx命令注意将hadoop用户命令赋权

sudo 是 liunx 下常用的允许普通用户使用超级用户权限的工具
在虚拟机上，执行命令 sudo vim /etc/hosts
会提示 hadoop不在 sudoers 文件中。此事将被报告。为 hadoop用户配置 sudo 权限切换到 root 用户执行命令 su root
查看/etc/sudoers 文件权限，如果只读权限，修改为可写权限查看文件权限，执行命令 ll /etc/sudoers 修改权限，执行命令 chmod 777 /etc/sudoers
将 hadoop ALL=(ALL)  NOPASSWD:ALL  /etc/sudoers 追加到文件中。
内容含义是：用户名 chinahadoop 网络中主机=(全部用户) 不需要密码:全部范围’执行命令 echo 'hadoop ALL=(ALL)NOPASSWD:ALL' >> /etc/sudoers
恢复/etc/sudoers 的访问权限为 440 执行命令 chmod 440 /etc/sudoers
切换到 hadoop 用户，执行命令 sudo vim /etc/hosts
4.配置hosts文件

计算机系统在处理 DNS 请求以前，会先检查自己的hosts 文件中是否有这个地址映射关系，如果有则调用这个 IP 地址映射，如果没有再向已知的DNS 服务器提出域名解析。
我们在访问 自己网站或者www.baidu.com 时，DNS 服务器把网络域名（www.baidu.com）
解析成对应的服务器 IP 地址后，我们才能访问小象学院的网站。
 自定义的名字没有注册过域名，就可以通过配置 hosts 文件建立 IP 映射，这样以后访问虚拟机上的服务时我们输入名字就行了。
4.1 在windows/liunx hosts文件中配置虚拟机Ip
liunx ： sudo vim /etc/hosts  在文件中追加windows ip 并加上windows 自定义名称
例如 192.168.1.89 win8
windows:

win8 的 C:\Windows\System32\drivers\etc 目录下的 hosts 文件。加入内容 192.168.1.119chinahadoop0
注意：自测试相互能调通。
5.SSH 客户端

SSH 客户端有很多，比如：Xshell、putty、SecureCRT 和 WinSCP
Xme4 软件下载链接：http://pan.baidu.com/s/1pKFmC0j 密码：n2j4
putty 软件下载链接：http://pan.baidu.com/s/1c2gDyQO 密码：im6e
SecureCRT 软件下载链接：http://pan.baidu.com/s/1c2G5nVi 密码：dgz5
WinSCP 软件下载链接：http://pan.baidu.com/s/1nvKqDG9 密码：vf48
6. 下载hadoop包 本文采用2.5.2版本
注意下载需要查看自己下载文件位置。使用命令pwd查看当前目录位置。
我的目录 下载目录为/home/chinahadoop/software



7.修改主机名称命令hostname 查看当前主机名称通过在network 中修改主机名称: 查看 修改主机名称 cat /etc/sysconfig/network



7.1 回顾window/liunx hosts文件中相互配置对方的ip和映射名称。
8. 将software下载hadoop包解压到hadoop（自己新建）
命令: tar zxvf hadoop-2.5.2.tar.gz 是解压到当前目录
我是解压到： tar zxvf software/hadoop-2.5.2.tar.gz -C hadoop/ha
注意：加上 -C是 解压到 hadoop/ha 目录
9. 修改hadoop配置文件




9.1 修改 hadoop-env.sh 文件
在hadoop-env.sh文件中配置jdk环境变量



9.2 修改 mapred-site.xml 文件
<configuration> 
<property> 
  <name>mapreduce.framework.name</name> 
  <value>yarn</value> 
</property> 
</configuration>其中，名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。启动了HDFS之后，就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群


9.3 修改 core-site.xml 文件<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://chinahadoop1:8020</value>
</property>
</configuration>
9.4 修改 hdfs-site.xml 文件<property> <name>dfs.replication</name> <value>1</value>         <descript>hdfs文件副本数，默认为3个副本.注意副本设置为奇数</descript></property>
<property>  
<name>dfs.namenode.name.dir</name>
<value>/home/chinahadoop/dfs/name</value> 
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/chinahadoop/dfs/data</value>
</property>注意： 防止每次重启需要格式化namnode 将配置红色部分。同时红色部分也可以配置到core-site.xml文件中。这是为了防止在非tmp目录下生产文件。9.5 修改 yarn-site.xml 文件
输入命令vim etc/hadoop/yarn-site.xml
加入下面内容
<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value>  </property> 
10 格式化namenode首次: bin/hadoop namenode -format
10.1 启动namenode sbin/hadoop-daemon.sh start namenode
同时 jps 查看下
10.2 启动datanode

执行命令 sbin/hadoop-daemon.sh startdatanode
11 访问 http://chinahadoop0:50070


 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
微信公号：ChinaHadoop                    新浪微博：ChinaHadoop
 
邮箱：Admin@chinahadoop.cn         电话：156 1144 0609
 
网址：http://www.chinahadoop.cn