hadoop的安装与配置
2017-04-18 16:14
239 查看
Hadoop版本
Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本,本教程均可适用.基本环境:Centos 6.5 jdk1.7.0_67 hadoop2.5.1一、配置jdk1)下载jdk 版本 本教程试用jdk-7u67-linux-x64.war.gz2)创建解压目录 mkdir /usr/local/java3)移动jdk到/usr/local/java mv jdk-7u67-linux-x64.war.gz /usr/local/java4)解压jdktar -xvf jdk-7u67-letcinux-x64.war.gz 5)配置环境 5.1)编辑 ~/.bash_profile文件 (可以在/etc/profile配置,但是不建议) 1.vi ~/.bash_profile 2.JAVA_HOME =/usr/local/java/jdk1.7.0_67 3.CLASSPATH=. :$JAVA_HOME/lib/*.jar 4.PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 5.退出编辑,并 source ~/.bash_profile 6.验证 java -version
二、安装配置hadoop1)下载hadoop 版本本教程使用hadoop2.5.1.war.gz2)创建解压目录 mkdir /usr/local/hadoop3)移动hadoop到/usr/local/hadoopmv hadoop2.5.1.war.gz /usr/local/hadoop4)解压hadooptar -xvf hadoop2.5.1.war.gz 5)配置环境 5.1)编辑~/.bash_profile文件 1.vi ~/.bash_profile 2.HADOOP_HOME=/usr/local/hadoop2.6.4 4.PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/jre/bin 5.退出编辑,并 source ~/.bash_profile5.2)配置etc/hadoop/hadoop-env.sh,etc/hadoop/core-site.xml,hdfs-site.xml ,etc/hadoop/salves http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html 1.配置hadoop-env.sh export JAVA_HOME=/*your jdk的目录*/ 2.配置core-site.xml (可以参考官方文档)
5087 SecondaryNameNode
2054 ResourceManager
9053 Jps
4891 DataNode
7489 NameNode
9) 网页查看
yourip:50070 (windows 没有添加host ,就用IP地址)
Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列.1.x.y大数公司已经更新Hadoop 2.x 版本,本教程均可适用.基本环境:Centos 6.5 jdk1.7.0_67 hadoop2.5.1一、配置jdk1)下载jdk 版本 本教程试用jdk-7u67-linux-x64.war.gz2)创建解压目录 mkdir /usr/local/java3)移动jdk到/usr/local/java mv jdk-7u67-linux-x64.war.gz /usr/local/java4)解压jdktar -xvf jdk-7u67-letcinux-x64.war.gz 5)配置环境 5.1)编辑 ~/.bash_profile文件 (可以在/etc/profile配置,但是不建议) 1.vi ~/.bash_profile 2.JAVA_HOME =/usr/local/java/jdk1.7.0_67 3.CLASSPATH=. :$JAVA_HOME/lib/*.jar 4.PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin 5.退出编辑,并 source ~/.bash_profile 6.验证 java -version
二、安装配置hadoop1)下载hadoop 版本本教程使用hadoop2.5.1.war.gz2)创建解压目录 mkdir /usr/local/hadoop3)移动hadoop到/usr/local/hadoopmv hadoop2.5.1.war.gz /usr/local/hadoop4)解压hadooptar -xvf hadoop2.5.1.war.gz 5)配置环境 5.1)编辑~/.bash_profile文件 1.vi ~/.bash_profile 2.HADOOP_HOME=/usr/local/hadoop2.6.4 4.PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/jre/bin 5.退出编辑,并 source ~/.bash_profile5.2)配置etc/hadoop/hadoop-env.sh,etc/hadoop/core-site.xml,hdfs-site.xml ,etc/hadoop/salves http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/SingleCluster.html 1.配置hadoop-env.sh export JAVA_HOME=/*your jdk的目录*/ 2.配置core-site.xml (可以参考官方文档)
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> /** your的主机名**/ </property> </configuration> 3.配置hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 4.配置salves
your的机主名 6)关闭临时防火墙 1)service iptables stop 2)chkconfig iptables off 7)格式化 hadoop namenode -format 8)验证 start-hdfs.sh
8)jps产看状态2135 NodeManager
5087 SecondaryNameNode
2054 ResourceManager
9053 Jps
4891 DataNode
7489 NameNode
9) 网页查看
yourip:50070 (windows 没有添加host ,就用IP地址)
相关文章推荐
- Windows环境下hadoop安装——ssh配置
- hadoop 配置安装(分布式)
- Cygwin下Hadoop的安装与配置详解
- Hadoop 安装、配置,以及问题的解决方法
- ubuntu安装配置hadoop和hive
- Hadoop0.21在CentOS4.X上集群安装配置
- Hadoop+Hbase 安装配置实录分享
- 在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境04_Hadoop的安装
- Hadoop安装配置
- Hadoop安装配置
- hadoop集群内lzo的安装与配置 推荐
- Hadoop cluster 在CentOS上的安装配置
- 在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境01_虚拟机的安装
- 在Linux系统中配置Hadoop环境(1)---在虚拟机上安装Linux Ubuntu系统
- hadoop安装与配置
- hadoop安装配置
- HBase入门笔记(三)-- 完全分布模式Hadoop集群安装配置
- 在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境02_JDK的安装和配置
- 在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境05_HDFS文件系统和Mapreduce框架的启动和运行
- Hadoop安装配置