Hadoop 2.6 在MAC YOSEMITE 上安装配置 以及开发环境eclipse搭建(一)
2015-04-08 14:17
916 查看
最近实验室接到一个需要使用Hadoop集群的任务,于是终于有机会接触到很火很热的所谓大数据了。还记得刚开始玩hadoop得时候他还没有满一岁,转眼现在都已经2.6啦~。真是一切都在变唯有自己不会抛弃自己,不bb了开始正题。
实验室采用VMware ESXi 将一个小型机服务器虚拟化出10个centos 6.5的虚拟主机。我在这个基础上将这10个主机配置成了hadoop集群,发现了一个很不错的产品HDP。感兴趣的同志们可以尝试下,他是一个企业级的Hadoop平台,集成了Hadoop生态系统中的很多组件。
下面记录了我在自己的pro上安装配置Hadoop和eclipse的过程。
环境介绍
我是用的是OS X YOSEMITE 10.10,默认安装了Java,版本是1.6.0
下载Hadoop
下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ Hadoop官网
打开上面地址选择一个镜像地址即可以下载,我下载的是最新版本2.6.0,因为在HDP2.2中安装的都是hadoop2.6 为了保持一致。
下载完 解压在/Users/demontf/ 下面重命名为hadoop(原为hadoop2.6.0)
配置SSH
默认mac是没有开启远程访问的,进入系统偏好设置->共享->远程登录 将其勾选上。
现在打开控制台输入如下命令测试
配置Hadoop
配置的用处就是可以在控制台直接输入hadoop相关命令,同时还需要配置3个文件可以帮助hadoop正常运行。
配置环境变量
配置hadoop-env.sh
打开/Users/demontf/hadoop/etc/hadoop 目录下的 hadoop-env.sh
主要是修改里面的JAVA_HOME,因为我echo $JAVA_HOME 发现什么也没有输出,所以感觉mac 默认没有写JAVA_HOME
export JAVA_HOME=/Library/Java/Home //替换掉原来的${JAVA_HOME} 并去掉注释
配置core-site.xml
配置hdfs-site.xml
配置maperd-site.xml
格式化HDFS
启动Hadoop
运行hadoop目录下sbin中的start-all.sh即可启动 随后你会发现mac中开启了五个java进程
因为配置的是伪分布式,单点模式所以NameNode、SecondaryNameNode、DataNode、ResourceManager都在本机上。到此就安装完成。下一篇将介绍如何在mac上的eclipse中配置环境。
先给出Hadoop2.6.0 在eclipse中使用的插件点我去下载
实验室采用VMware ESXi 将一个小型机服务器虚拟化出10个centos 6.5的虚拟主机。我在这个基础上将这10个主机配置成了hadoop集群,发现了一个很不错的产品HDP。感兴趣的同志们可以尝试下,他是一个企业级的Hadoop平台,集成了Hadoop生态系统中的很多组件。
下面记录了我在自己的pro上安装配置Hadoop和eclipse的过程。
环境介绍
我是用的是OS X YOSEMITE 10.10,默认安装了Java,版本是1.6.0
下载Hadoop
下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ Hadoop官网
打开上面地址选择一个镜像地址即可以下载,我下载的是最新版本2.6.0,因为在HDP2.2中安装的都是hadoop2.6 为了保持一致。
下载完 解压在/Users/demontf/ 下面重命名为hadoop(原为hadoop2.6.0)
配置SSH
默认mac是没有开启远程访问的,进入系统偏好设置->共享->远程登录 将其勾选上。
现在打开控制台输入如下命令测试
ssh localhost如果可以登录的表示开启成功,下面配置免密码登录,否则后面启动hadoop的时候会非常麻烦总要输入密码
cd //打开当前用户根目录 cd .ssh //该目录隐藏了 可以直接打开 ssh-keygen -t rsa//一直按回车 全部默认此时目录下会生成两个文件id_rsa 和 id_rsa.pub 。这就是所谓非对称加密的私钥和公钥,然后将公钥拷贝到授权文件中去(默认mac中是没有授权文件的)
cat id_rsa.pub > authorized.keys//存在authorized.keys文件 or cp id_rsa.pub authorized.keys//不存在authorized.keys文件此时在ssh localhost 就不用输入密码登录了~~
配置Hadoop
配置的用处就是可以在控制台直接输入hadoop相关命令,同时还需要配置3个文件可以帮助hadoop正常运行。
配置环境变量
export HADOOP_HOME=/Users/demontf/hadoop export PATH=$PATH:$HADOOP_HOME/bin在控制台输入上面两行命令,使用 echo $PATH 可以查看已将hadoop添加到环境变量中
配置hadoop-env.sh
打开/Users/demontf/hadoop/etc/hadoop 目录下的 hadoop-env.sh
主要是修改里面的JAVA_HOME,因为我echo $JAVA_HOME 发现什么也没有输出,所以感觉mac 默认没有写JAVA_HOME
export JAVA_HOME=/Library/Java/Home //替换掉原来的${JAVA_HOME} 并去掉注释
配置core-site.xml
<configuration> <property> <name>hadoop.tmp.dir</name> <value>/Users/demontf/hadoop/tmp/hadoop-${user.name}</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.default.name</name> <value>hdfs://localhost:8020</value> </property> </configuration>
配置hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value>//不重复复制 </property> </configuration>
配置maperd-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:8021</value> </property> <property> <name>mapred.tasktracker.map.tasks.maximum</name> <value>2</value> </property> <property> <name>mapred.tasktracker.reduce.tasks.maximum</name> <value>2</value> </property> </configuration></span>
格式化HDFS
HADOOP_HOME/bin/hadoop namenode -format
启动Hadoop
运行hadoop目录下sbin中的start-all.sh即可启动 随后你会发现mac中开启了五个java进程
因为配置的是伪分布式,单点模式所以NameNode、SecondaryNameNode、DataNode、ResourceManager都在本机上。到此就安装完成。下一篇将介绍如何在mac上的eclipse中配置环境。
先给出Hadoop2.6.0 在eclipse中使用的插件点我去下载
相关文章推荐
- Hadoop2.6安装配置以及整合Eclipse开发环境
- hadoop2.6安装配置以及整合eclipse开发环境
- 在MAC上搭建eclipse+android开发环境以及eclipse的svn插件的安装
- 搭建Hadoop2.6.0+Eclipse开发调试环境(以及log4j.properties的配置)
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (一) Cygwin(64位)的安装 + ssh的配置
- Hadoop伪分布配置与基于Eclipse开发环境搭建
- win7(64位)平台下Cygwin+Eclipse搭建Hadoop单机开发环境 (二) Hadoop的安装
- 云计算Hadoop配置(四)——Eclipse中搭建Map-reduce开发环境
- Linux下搭建Eclipse下Hadoop的开发环境以及远程调试
- 在Ubuntu下安装eclipse并为eclipse配置hadoop开发环境
- Ubuntu 10.04 安装配置LAMP以及php开发环境 Eclipse PDT的安装
- Android开发环境搭建:SDK在线离线安装+在Eclipse中配置ADT+第一个Android程序运行
- linux 下 VNC Server安装配置及 eclipse CDT C/C++ 开发环境搭建(我用的是阿里云服务器 ubuntu 12.04 64-bit,无图形化界面)
- Hadoop开发环境的配置(安装eclipse)
- Hadoop开发环境搭建-Eclipse插件配置
- windows下hadoop伪分布式模式开发环境的搭建(Cygwin)以及Eclipse集成开发环境下的搭建
- eclipse中配置hadoop开发环境-----删除之前版本的hadoop插件、编译hadoop eclipse插件、安装插件、eclipse下运行hadoop程序
- 【iOS-cocos2d-X 游戏开发之三】Mac下配置Android NDK环境并搭建Cocos2d-x环境并Eclipse正常编译运行Cocos2dX自带TestsDemo项目!
- Android开发环境搭建:SDK在线离线安装+在Eclipse中配置ADT+第一个Android程序运行
- mac下搭建eclipse java/c++开发环境及gdb安装