ubuntu 13.04 搭建Hadoop环境 (单节点)
2013-10-11 17:32
465 查看
一、在ubuntu下创建hadoop用户组和用户
1、创建hadoop用户组:
sudo addgroup hadoop
2、创建hadoop用户:
sudo adduser -ingroup hadoop hadoop
3、给hadoop用户添加权限,打开/etc/sudoers文件
给hadoop用户赋予root用户同样的权限。在root ALL=(ALL:ALL)下添加hadoop ALL=(ALL:ALL)
二、ubuntu下安装JDK
使用如下命令即可:sudo apt-get install openjdk-6-jre
三、安装ssh服务
这里的ssh和三大框架:spring,struts,hibernate没有什么关系,ssh可以实现远程登录和管理,具体可以参考其他相关资料。 安装openssh-server: sudo apt-get install ssh openssh-server
四、建立ssh无密码登录本机
首先要转换成hadoop用户,执行以下命令: su - hadoop
1、创建ssh-key,这里我们采用rsa方式
ssh-keygen -t rsa -P ""
(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
2、进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的:
cd ~/.ssh cat id_rsa.pub >> authorized_keys
完成后就可以无密码登录本机了。
3、登录localhost
ssh localhost 注:当ssh远程登录到其它机器后,现在你控制的是远程的机器,需要执行退出命令才能重新控制本地主机。
4、执行推出命令:
exit
五、安装hadoop
我们采用的hadoop版本是hadoop-2.0.3(http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/)1、假设hadoop-2.0.3-alpha.tar.gz已经下载,将它复制到安装目录 /usr/local/
sudo cp hadoop-2.0.3-alpha.tar.gz /usr/local/
2、解压hadoop-2.0.3-alpha.tar.gz
cd /usr/local sudo tar -zxf hadoop-2.0.3-alpha.tar.gz
3、将解压出的文件夹改名为hadoop:
sudo mv hadoop-2.0.3 hadoop
4、将该hadoop文件夹的属主用户设为hadoop:
sudo chown -R hadoop:hadoop hadoop
5、打开hadoop/conf/hadoop-env.sh文件:
sudo gedit hadoop/conf/hadoop-env.sh 配置conf/hadoop-env.sh文件: export JAVA_HOME=/usr/lib/jvm/java-6-openjdk
6、打开conf/core-site.xml文件:
首先在hadoop目录下新建几个文件夹: mkdir tmp
sudo gedit hadoop/conf/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop/tmp</value> </property> </configuration>
7、打开conf/mapred-site.xml文件:
sudo gedit hadoop/conf/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
8、 配置conf/hdfs-site.xml文件:
首先在hadoop目录下新建几个文件夹:mkdir hdfsmkdir hdfs/name
mkdir hdfs/data
打开conf/hdfs-site.xml文件
sudo gedit hadoop/conf/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/hdfs/name</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/hdfs/data</value> </property> </configuration>
9、格式化HDFS
通过以上步骤,我们已经设定好Hadoop单机测试到环境,接着就是启动hadoop相关服务,格式化namenode,secondarynamenode,tasktracker
~$ source /usr/local/hadoop/conf/hadoop-env.sh
~$ hadoop namenode -format
六、运行hadoop
进入hadoop目录:
cd /usr/local/hadoop/
启动bin/start-all.sh:
bin/start-all.sh
检测hadoop是否启动成功:
jps
如果有Namenode,SecondaryNameNode,TaskTracker,DataNode,JobTracker五个进程,就说明你的hadoop单机版环境配置好了!至此,单机hadoop的环境就搭建好了。 如果有进程没启动,请到logs文件中查阅相应文件,找到不能启动的原因,再去网上搜索解决办法。 PS:一般的搭建问题是由文件访问权限造成的。
相关文章推荐
- 基于Hyper-V3.0搭建XenDesktop7之十二 部署Win8虚拟桌面之桌面发布
- iSCSI
- 基于Hyper-V3.0搭建XenDesktop7之十一 部署Win8虚拟桌面之模板准备
- nginx清除缓存图片
- 基于Hyper-V3.0搭建XenDesktop7之十 部署虚拟应用之应用发布
- linux 学习url-very important
- opencart 引入 TWIG 模板引擎
- linux下java证书错误
- 基于Hyper-V3.0搭建XenDesktop7之九 部署虚拟应用之模板准备
- Windows 会被 Linux 吃掉吗?
- 基于Hyper-V3.0搭建XenDesktop7之八 配置StoreFront
- E: 无法获得锁 /var/lib/dpkg/lock - open (11: 资源暂时不可用) E: 无法锁定管理目录(/var/lib/dpkg/)
- Linux常用命令大全
- Tomcat连接不上数据库原因之一
- Linux中如何查看root取得的shell
- Linux环境中普通用户切换到root用户问题
- 基于Hyper-V3.0搭建XenDesktop7之七 配置XenDesktop7
- 转载_Linux之/etc/inittab的用途
- Hadoop心跳机制源码分析
- 在Red Hat Enterprise Linux 5下ArcGIS Server的一些问题和解决方法