linux hadoop 2.7 伪分布式安装简单几步实现
2015-11-21 13:17
671 查看
本机配置
1. ubuntu 64bit
2. hadoop 2.7.1
Contents
1.安装jdk
2.安装ssh
3.安装hadoop
Steps
1.安装jdk
a)下载这个网址中跟自己操作系统相对应的jdk版本:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html 我选择的是jdk-7u79-linux-x64.tar.gz。
b)解压后移动到/opt目录下
sudo tar -zxvf jdk-7u79-linux-x64.tar.gz
mv jdk1.7.0_79 /opt
c)编辑/etc/profile配置jdk环境变量
vim /etc/profile
按i进入插入模式,在文件末尾添加
d)检查jdk安装是否成功
运行javac -version查看:
couragek@couragek:~/下载$ javac -version
javac 1.7.0_79
-------------------------------------------------------------分割线---------------------------------------------------------------------------------
2.安装ssh
a)在终端中输入命令:
sudo apt-get install ssh openssh-server
b)创建ssh-key,采用rsa方式:
ssh-keygen -t rsa -P ""
c)无密码登陆ssh:
ssh localhost
-------------------------------------------------------------分割线---------------------------------------------------------------------------------
3.安装hadoop
a)下载hadoop安装包,可直接采用命令,如下:
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
b)解压缩hadoop安装包,如下:
sudo
tar -zxvf hadoop-2.7.1.tar.gz
c)配置hadoop文件夹中的配置文件,所有文件位于hadoop2.7.1/etc/hadoop下:
I)
core-site.xml
mapred-site.xml.template
III)
hdfs-site.xml
hadoop-env.sh,在该文件中添加下面一行:
export JAVA_HOME=/opt/jdk1.7.0_79
d) 运行hadoop
I) 初始化hdfs系统
在hadoop2.7.1目录下输入如下命令:
bin/hdfs namenode -format
II) 开启namenode和datanode守护进程:
sbin/start-dfs.sh
III) 查看进程信息,采用命令jps,如下所示:
4.参考文献
http://www.tuicool.com/articles/bmeUneM http://www.linuxidc.com/Linux/2015-10/123983.htm http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html
1. ubuntu 64bit
2. hadoop 2.7.1
Contents
1.安装jdk
2.安装ssh
3.安装hadoop
Steps
1.安装jdk
a)下载这个网址中跟自己操作系统相对应的jdk版本:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260.html 我选择的是jdk-7u79-linux-x64.tar.gz。
b)解压后移动到/opt目录下
sudo tar -zxvf jdk-7u79-linux-x64.tar.gz
mv jdk1.7.0_79 /opt
c)编辑/etc/profile配置jdk环境变量
vim /etc/profile
按i进入插入模式,在文件末尾添加
# set java jdk path export JAVA_HOME=/opt/jdk1.7.0_79 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin export JRE_HOME=/opt/jdk1.7.0_79/jre export PATH=$PATH:$JRE_HOME/bin保存后,在命令行中输入source /etc/profile回车就能保存jdk的配置
d)检查jdk安装是否成功
运行javac -version查看:
couragek@couragek:~/下载$ javac -version
javac 1.7.0_79
-------------------------------------------------------------分割线---------------------------------------------------------------------------------
2.安装ssh
a)在终端中输入命令:
sudo apt-get install ssh openssh-server
b)创建ssh-key,采用rsa方式:
ssh-keygen -t rsa -P ""
c)无密码登陆ssh:
ssh localhost
-------------------------------------------------------------分割线---------------------------------------------------------------------------------
3.安装hadoop
a)下载hadoop安装包,可直接采用命令,如下:
wget http://mirrors.hust.edu.cn/apache/hadoop/core/stable/hadoop-2.7.1.tar.gz
b)解压缩hadoop安装包,如下:
sudo
tar -zxvf hadoop-2.7.1.tar.gz
c)配置hadoop文件夹中的配置文件,所有文件位于hadoop2.7.1/etc/hadoop下:
I)
core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>II)
mapred-site.xml.template
<pre name="code" class="html"><configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
III)
hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>IV)
hadoop-env.sh,在该文件中添加下面一行:
export JAVA_HOME=/opt/jdk1.7.0_79
d) 运行hadoop
I) 初始化hdfs系统
在hadoop2.7.1目录下输入如下命令:
bin/hdfs namenode -format
II) 开启namenode和datanode守护进程:
sbin/start-dfs.sh
III) 查看进程信息,采用命令jps,如下所示:
couragek@couragek:~/hadoop-2.7.1$ jps 2814 NameNode 3298 Jps 3177 SecondaryNameNode 2977 DataNodeIV) 查看web UI,在浏览器中输入网址:http://localhost:50070,如下所示:
4.参考文献
http://www.tuicool.com/articles/bmeUneM http://www.linuxidc.com/Linux/2015-10/123983.htm http://hadoop.apache.org/docs/r1.0.4/single_node_setup.html
相关文章推荐
- Ubuntu 默认壁纸历代记
- Ubuntu Remix Cinnamon 20.04 评测:Ubuntu 与 Cinnamon 的完美融合
- Linux socket 初步
- 关于Ubuntu 11.10启动提示waiting for the network configuration的问题
- 在 Ubuntu 桌面中使用文件和文件夹
- linux lsof详解
- linux 文件权限
- Linux 执行数学运算
- 10 篇对初学者和专家都有用的 Linux 命令教程
- Linux 与 Windows 对UNICODE 的处理方式
- Ubuntu12.04下QQ完美走起啊!走起啊!有木有啊!
- 解決Linux下Android开发真机调试设备不被识别问题
- ubuntu下chrome无法同步问题解决
- 详解HDFS Short Circuit Local Reads
- 运维入门
- 运维提升
- Linux 自检和 SystemTap
- Ubuntu Linux使用体验