Hadoop伪分布式安装步骤

Hadoop伪分布式安装步骤

1）jdk安装
解压：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app
添加到系统环境变量： ~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
export PATH=$JAVA_HOME/bin:$PATH
使得环境变量生效： source ~/.bash_profile
验证java是否配置成功： java -v

2）机器参数设置和安装ssh

 hostname：hadoop001

 修改机器名：/etc/sysconfig/network

NETWORKING=yes

HOSTNAME=hadoop001

设置ip和hostname的映射关系：/etc/hosts

ssh安装和免密登录

sudo yum install ssh

配置免密登录
ssh-keygen -t rsa
生成两个文件id_rsa，id_rsa.pub
ll -la 才能看到.ssh文件
然后cd .ssh 用ls可以看到两个文件
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3）下载并解压hadoop
下载：直接去cdh网站下载
解压：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app

4）hadoop配置文件的修改(hadoop_home/etc/hadoop)，配置以下3个文件
hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79

core-site.xml
<property>
       <name>fs.defaultFS</name>
       <value>hdfs://hadoop000:8020</value>   注意：这是2.x的端口
   </property>

   <property>
       <name>hadoop.tmp.dir</name>
       <value>/home/hadoop/app/tmp</value> 注意：这个是指定namenode放在哪里，官网默认是在/tmp的临时路            径下，系统重启会被删除

   </property>

hdfs-site.xml
<property>
       <name>dfs.replication</name>
       <value>1</value>    注意：副本系数
   </property>

   
5）格式化HDFS
 注意：这一步操作，只是第一次时执行，每次如果都格式化的话，那么HDFS上的数据就会被清空
 在hadoop的bin目录下
 ./hdfs namenode -format

额外介绍hadoop几个关键的目录：bin（客户端相关） etc （配置文件相关的） sbin（服务器相关的）

6）启动hdfs
格式化文件系统（仅第一次执行即可，不要重复执行）：hdfs/hadoop namenode -format
启动hdfs: sbin/start-dfs.sh
 etc/hadoop/目录下的slaves文件配置的是从节点，也就是启动时datanode的服务器
验证是否启动成功：
1、jps
DataNode
SecondaryNameNode
NameNode

2、浏览器访问方式： http://hadoop000:50070
7）停止hdfs
sbin/stop-dfs.sh 

Hadoop shell的基本使用

hdfs dfs

hadoop fs

Java API操作HDFS文件

文件 1 311585484
hdfs://hadoop000:8020/hadoop-2.6.0-cdh5.7.0.tar.gz

文件夹 0 0
hdfs://hadoop000:8020/hdfsapi

文件 1 49
hdfs://hadoop000:8020/hello.txt

文件 1 40762
hdfs://hadoop000:8020/install.log

问题：我们已经在hdfs-site.xml中设置了副本系数为1，为什么此时查询文件看到的3呢？

 如果你是通过hdfs shell的方式put的上去的那么，才采用默认的副本系数1

 如果我们是java api上传上去的，在本地我们并没有手工设置副本系数，所以否则采用的是hadoop自己的副本系数