您的位置:首页 > 运维架构

Hadoop伪分布式安装详细步骤(前提:使用root权限登录)-------<总结>

2014-03-02 00:28 603 查看
前提:使用root用户登录系统,减少不必要的麻烦,以及用户切换(推荐几个工具)----------------1.PieTTY 0.3.26.exe:window下安全的远程连接程序(window下连接虚拟机中linux)。2.Winscp:支持ssh的文件传输软件。(可以在window下实现和linux文件交互)1.在虚拟机下安装好linux系统

2.设置静态ip,右键工作栏上电脑符号,修改ip。 2.1重启网卡:service network restart
2.2验证:ifconfig,查看是否正确,ping,查看是否和物理机联通

3.修改主机名: 3.1修改当前会话主机名:hostname 主机名 3.2修改配置文件主机名:vi /etc/sysconfig/network中 hostname=主机名4.把主机名和ip绑定 4.1vi /etc/hosts 增加一行 192.168.80.100 主机名(hadoop) 验证:在物理机上 ping hadoop
5.关闭防火墙运行(一定要关闭)
service iptables stop 验证:service iptables status6.关闭防火墙自动运行 执行命令:chkconfig iptables off7.SSH免登陆(具体见 博客:ssh免登陆) 7.1切换到所在目录 /root/.ssh文件夹
7.2执行命令产生秘(公)钥 ssh-keygen -t rsa
会产生两个文件 id_rsa.pub和id_rsa. 7.3执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys7.4验证: ssh 主机名 看是否需要密码8.安装jdk(我们的jdk和hadoop都安装在/usr/local下)a) 执行命令 rm -rf /usr/local/* 删除所有内容b) 使用工具winscp把jdk文件从windows复制到/usr/local下c) 执行命令 赋予执行权限 chmod u+x jdk文件名d) 进行解压缩 ./文件名(要在/usr/local下)e) 执行命令重命名 mv jdk-.... jdk(方便操作)f) 设置环境变量 vi /etc/profile 增加两行内容 export JAVA_HOME=/usr/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH保存退出设置立即生效:source /etc/profile验证:java -version8.安装hadoopa) 执行命令 tar -zxvf hadoop-1.1.2.tar.gz进行解压缩b) 重命名 mv hadoop-1.1.2 hadoopc) 设置环境变量 vi /etc/profiled) 增加export HADOOP_HOME=usr/local/hadoope) 修改path 增加:$HADOOP_HOME/binf) 执行source /etc/profileg) 修改hadoop配置文件i. 修改四个配置文件 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xmlii. hadoop-env.sh 修改第九行 jdk路径指定iii. core-site.xmliv. 具体修改------------------------------------------con/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<--#是描述hadoop集群中NameNode节点的url,集群中其他的节点必须知道NameNode的位置,DataNode必须先在NameNoe上注册,客户端可以通过这个url与NamNode进行数据交互-->

<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<--hadoop.tmp.dir是hadoop文件系统依赖的基础配置,NameNode和DataNode的默认存放位置-->
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<--jobtracker所在的主机和端口,-->

<value>hadoop:9001</value>
</property>
</configuration>

conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<--这个配置决定了hdfs中有保留多少个备份,默认是3个,没有上限,但是过多的备份会占用资源,太少又不安全-->

<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>-----------------------------------------------
v. 对hadoop进行格式化:
hadoop namenode -format
执行命令start-all.sh启动执行命令jps 验证,发现5个进程通过浏览器查看(linux)
在windows下查看,修改hosts文件192.168.80.100 hadoop
然后可以直接 hadoop:50070进行查看
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: