Hadoop集群Master节点部署方案

Ø 更改/etc/hosts，添加所有集群机器ip到主机名映射

Ø 拷贝hadoop包hadoop.tar.gz到/usr/local

Ø md5sum校验hadoop.tar.gz包：md5sum hadoop.tar.gz

Ø 解压hadoop.tar.gz包:tar -xzf hadoop.tar.gz

Ø 更改hadoop-1.0.3目录权限：chown -R hadoop:hadoop hadoop-1.0.3

Ø 建立hadoop目录软链接：ln -s hadoop-1.0.3 hadoop

Ø 建立/home/bin目录，将工具拷贝到目录下

Ø 更改/home/bin目录权限为777

Ø 用root权限安装tcl和expect工具，具体步骤如下：
1. 在/home/bin下建立soft目录
2. 将expect-5.43.0.tar.gz和tcl8.4.11-src.tar.gz拷贝到soft目录下并解压
3. 更改expect-5.43.0和tcl8.4.11权限为hadoop：chown-R hadoop：hadoop

Ø 安装tcl：
a.执行sed -i "s/relid'/relid/"configure
b.执行./configure --prefix=/expect
c.执行make
d.执行make install
e.执行mkdir -p /tools/lib
f.执行cp tclConfig.sh /tools/lib/
g.将/tools/bin目录export到环境变量
tclpath=/tools/bin
export tclpath
Ø 安装expect：
a.进入/soft/expect-5.43目录
b.执行./configure --prefix=/tools--with-tcl=/tools/lib --with-x=no
c.如果最后一行提示：
configure:error: Can't find Tcl private headers
需要添加一个头文件目录参数
--with-tclinclude=../tcl8.4.11/generic,即
./configure --prefix=/tools --with-tcl=/tools/lib --with-x=no--with-tclinclude=../tcl8.4.11/generic
../tcl8.4.11/generic 就是tcl解压安装后的路径，一定确保该路径存在
d.执行make
e.执行make install
f.编译完成后会生在/tools/bin内生成expect命令
g.执行/tools/bin/expect出现expect1.1>提示符说明expect安装成功.

Ø 在hadoop根目录生成公钥和私钥文件：
a.ssh-keygen -t rsa
b.cat id_rsa.pub > authorized_keys
c.chmod 644 authorized_keys

Ø 更改hadoop集群的conf文件，修改相应的主机名、端口、http地址等

Ø 建立master节点到所有datanode的信任关系

Ø 修改.bash_profile文件，将/home/bin加入到环境变量中，并将环境变量导出

Ø 更改/hadoop-disk或者其他使用磁盘的权限为hadoop:chown -R hadoop:hadoop