Hadoop伪分布式安装详细步骤(前提:使用root权限登录)-------<总结>
2014-03-02 00:28
603 查看
前提:使用root用户登录系统,减少不必要的麻烦,以及用户切换(推荐几个工具)----------------1.PieTTY 0.3.26.exe:window下安全的远程连接程序(window下连接虚拟机中linux)。2.Winscp:支持ssh的文件传输软件。(可以在window下实现和linux文件交互)1.在虚拟机下安装好linux系统
2.设置静态ip,右键工作栏上电脑符号,修改ip。 2.1重启网卡:service network restart
2.2验证:ifconfig,查看是否正确,ping,查看是否和物理机联通
3.修改主机名: 3.1修改当前会话主机名:hostname 主机名 3.2修改配置文件主机名:vi /etc/sysconfig/network中 hostname=主机名4.把主机名和ip绑定 4.1vi /etc/hosts 增加一行 192.168.80.100 主机名(hadoop) 验证:在物理机上 ping hadoop
5.关闭防火墙运行(一定要关闭)
service iptables stop 验证:service iptables status6.关闭防火墙自动运行 执行命令:chkconfig iptables off7.SSH免登陆(具体见 博客:ssh免登陆) 7.1切换到所在目录 /root/.ssh文件夹
7.2执行命令产生秘(公)钥 ssh-keygen -t rsa
会产生两个文件 id_rsa.pub和id_rsa. 7.3执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys7.4验证: ssh 主机名 看是否需要密码8.安装jdk(我们的jdk和hadoop都安装在/usr/local下)a) 执行命令 rm -rf /usr/local/* 删除所有内容b) 使用工具winscp把jdk文件从windows复制到/usr/local下c) 执行命令 赋予执行权限 chmod u+x jdk文件名d) 进行解压缩 ./文件名(要在/usr/local下)e) 执行命令重命名 mv jdk-.... jdk(方便操作)f) 设置环境变量 vi /etc/profile 增加两行内容 export JAVA_HOME=/usr/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH保存退出设置立即生效:source /etc/profile验证:java -version8.安装hadoopa) 执行命令 tar -zxvf hadoop-1.1.2.tar.gz进行解压缩b) 重命名 mv hadoop-1.1.2 hadoopc) 设置环境变量 vi /etc/profiled) 增加export HADOOP_HOME=usr/local/hadoope) 修改path 增加:$HADOOP_HOME/binf) 执行source /etc/profileg) 修改hadoop配置文件i. 修改四个配置文件 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xmlii. hadoop-env.sh 修改第九行 jdk路径指定iii. core-site.xmliv. 具体修改------------------------------------------con/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<--#是描述hadoop集群中NameNode节点的url,集群中其他的节点必须知道NameNode的位置,DataNode必须先在NameNoe上注册,客户端可以通过这个url与NamNode进行数据交互-->
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<--hadoop.tmp.dir是hadoop文件系统依赖的基础配置,NameNode和DataNode的默认存放位置-->
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<--jobtracker所在的主机和端口,-->
<value>hadoop:9001</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<--这个配置决定了hdfs中有保留多少个备份,默认是3个,没有上限,但是过多的备份会占用资源,太少又不安全-->
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>-----------------------------------------------
v. 对hadoop进行格式化:
hadoop namenode -format
执行命令start-all.sh启动执行命令jps 验证,发现5个进程通过浏览器查看(linux)
在windows下查看,修改hosts文件192.168.80.100 hadoop
然后可以直接 hadoop:50070进行查看
2.设置静态ip,右键工作栏上电脑符号,修改ip。 2.1重启网卡:service network restart
2.2验证:ifconfig,查看是否正确,ping,查看是否和物理机联通
3.修改主机名: 3.1修改当前会话主机名:hostname 主机名 3.2修改配置文件主机名:vi /etc/sysconfig/network中 hostname=主机名4.把主机名和ip绑定 4.1vi /etc/hosts 增加一行 192.168.80.100 主机名(hadoop) 验证:在物理机上 ping hadoop
5.关闭防火墙运行(一定要关闭)
service iptables stop 验证:service iptables status6.关闭防火墙自动运行 执行命令:chkconfig iptables off7.SSH免登陆(具体见 博客:ssh免登陆) 7.1切换到所在目录 /root/.ssh文件夹
7.2执行命令产生秘(公)钥 ssh-keygen -t rsa
会产生两个文件 id_rsa.pub和id_rsa. 7.3执行命令 cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys7.4验证: ssh 主机名 看是否需要密码8.安装jdk(我们的jdk和hadoop都安装在/usr/local下)a) 执行命令 rm -rf /usr/local/* 删除所有内容b) 使用工具winscp把jdk文件从windows复制到/usr/local下c) 执行命令 赋予执行权限 chmod u+x jdk文件名d) 进行解压缩 ./文件名(要在/usr/local下)e) 执行命令重命名 mv jdk-.... jdk(方便操作)f) 设置环境变量 vi /etc/profile 增加两行内容 export JAVA_HOME=/usr/local/jdkexport PATH=.:$JAVA_HOME/bin:$PATH保存退出设置立即生效:source /etc/profile验证:java -version8.安装hadoopa) 执行命令 tar -zxvf hadoop-1.1.2.tar.gz进行解压缩b) 重命名 mv hadoop-1.1.2 hadoopc) 设置环境变量 vi /etc/profiled) 增加export HADOOP_HOME=usr/local/hadoope) 修改path 增加:$HADOOP_HOME/binf) 执行source /etc/profileg) 修改hadoop配置文件i. 修改四个配置文件 hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xmlii. hadoop-env.sh 修改第九行 jdk路径指定iii. core-site.xmliv. 具体修改------------------------------------------con/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<--#是描述hadoop集群中NameNode节点的url,集群中其他的节点必须知道NameNode的位置,DataNode必须先在NameNoe上注册,客户端可以通过这个url与NamNode进行数据交互-->
<value>hdfs://hadoop:9000</value>
<description>change your own hostname</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<--hadoop.tmp.dir是hadoop文件系统依赖的基础配置,NameNode和DataNode的默认存放位置-->
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<--jobtracker所在的主机和端口,-->
<value>hadoop:9001</value>
</property>
</configuration>
conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<--这个配置决定了hdfs中有保留多少个备份,默认是3个,没有上限,但是过多的备份会占用资源,太少又不安全-->
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>-----------------------------------------------
v. 对hadoop进行格式化:
hadoop namenode -format
执行命令start-all.sh启动执行命令jps 验证,发现5个进程通过浏览器查看(linux)
在windows下查看,修改hosts文件192.168.80.100 hadoop
然后可以直接 hadoop:50070进行查看
相关文章推荐
- CocoaPods 的详细安装步骤,使用方法以及安装过程中出现的各种错误总结
- Hadoop1.x伪分布式详细安装步骤
- hadoop2 详细讲解伪分布式安装步骤
- Hadoop2.6.4 HA 高可用分布式集群安装配置详细步骤
- 集群分布式 Hadoop安装详细步骤
- 详细版在虚拟机安装和使用hadoop分布式集群
- Eclipse中SVN的安装步骤(两种)和使用方法<非原创>
- hadoop-2.6.0伪分布式安装详细步骤
- Apache Hadoop 分布式集群环境安装配置详细步骤
- [大数据]-Elasticsearch5.3.1+Kibana5.3.1从单机到分布式的安装与使用<2>
- Storm集群安装部署步骤【详细版】<转>
- <linux>adb fastboot 和VNC工具的安装使用
- Linux 下 使用 yum 安装 mysql 的详细步骤及其使用过程
- Linux的使用<四> Ubuntu安装QQ
- Linux下Hadoop集群安装详细步骤 .
- ubuntu中安装伪分布式Hadoop问题总结
- Windows 下面安装和使用Python, IPython NoteBook (详细步骤)
- vue.js基本使用 利用webpack"热"运行vuejs+html初步和关键步骤 <二>
- Android Studio安装配置、环境搭建详细步骤及基本使用