hadoop(2-linux配置篇)

摘要: hadoop常见用配置 注:由于自身采用的版本较低以及hadoop版本改进，此配置可能在新版本中不一定适用！！

Linux下检测是否安装SSH: rep -qa | grep ssh

Linux下安装SSH: sudo yum install openssh-clients

sudo yum install openssh-server

检测SSH是否可用: ssh localhost

设置SSH无密码登录: exit # 退出刚才的 ssh localhost

cd ~/.ssh/ # 若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa # 会有提示，都按回车就可以

cat id_rsa.pub >> authorized_keys # 加入授权

chmod 600 ./authorized_keys # 修改文件权限

Oracle官网上下载jdk，使用下面的命令直接可以下载。

wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/7u71-b14/jdk-7u71-linux-x64.rpm
安装JDK后修改环境变量文件:/etc/profile

在此文件中添加环境变量:

export JAVA_HOME=jdk安装目录

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/lib:$JAVA_HOME/lib:$PATH

保存退出，使用source /etc/profile 命令使得环境变量文件生效

可以通过echo $JAVA_HOME 命令查看是否成功！！

hadoop下载:

wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
解压缩hadoop压缩文件:

tar -zxvf 文件名

进入解压后文件的conf文件夹中配置文件:

需要配置的文件有:

mapred-site.xml, --配置任务调度器的访问方式

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

core-site.xml,

<property>

<name>hadoop.tmp.dir</name>

<value>/hadoop</value>

</property>

<property>

<name>dfs.name.dir</name>

<value>/hadoop/name</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

hdfs-site.xml,

<property>

<name>dfs.data.dir</name>

<value>/hadoop/data</value>

</property>

hadoop-env.sh --修改JAVA_HOME为JDK安装目录

再次修改环境变量文件:/etc/profile

在此文件中添加环境变量:

export HADOOP_HOME=hadoop解压缩到的目录

修改 export PATH=$JAVA_HOME/lib:$JAVA_HOME/lib:$HADOOP_HOME/bin:$PATH

hadoop使用之前先执行 #hadoop namenode -format 命令将namenode进行一下格式化操作!!

yum install net-tools

/root/hadoop-1.2.1

/usr/java/jdk1.7.0_71