Mac Yosemite Hadoop伪分布式模式 安装笔记
2016-09-18 11:45
169 查看
本文是个人安装Hadoop伪分布式模式的笔记,记录了我这次的安装步骤。写这篇文章既是给自己存个档也是希望大家互相交流学习,有什么意见与建议欢迎留言。安装步骤是从网上的文章找的,将在写具体步骤时放引用文章的链接。
本人初学Hadoop,目前对它还不是很了解,先放一段别人的文章里对Hadoop的介绍:http://www.ifzer.com/2014/10/31/how_to_install_hadoop_on_mac_ox_x/
Hadoop是Apache基金会下的项目,它能够处理非常大的数据集在分布式计算环境,它可以运行在三种模式下:
独立式
Hadoop运行所有的东西在无后台的单独的JVM中,这种模式适合在开发阶段测试与Debug MapReduce程序
伪分布式
Hadoop做为后台应用运行在本地机器,模拟小集群
全分布式
Hadoop做为后台应用运行真实的集群电脑中
安装步骤:
主要是按照这篇文章做的(http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html),参考了官网教程(https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html)
1. 确定安装了java,网上有说要1.6+以上,我安装的是1.8
$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
2. 确定可以用ssh远程登录
直接在命令行输 ssh localhost, 如果不能连接 再输 ssh -version, 如果能看到ssh版本说明电脑上已经安装了只需要配置;
首先在系统偏好设置-》共享-》勾选远程登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
3. 查看java home的位置
如果已经装了jdk,查看jdk所在的位置:(https://dzone.com/articles/java-findingsetting)(配置java_home,参考http://www.mkyong.com/java/how-to-set-java_home-environment-variable-on-mac-os-x/)
/usr/libexec/java_home -V
/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents/Home(这是我的java home)
4.从官网下载最新稳定版Hadoop(http://www.apache.org/dyn/closer.cgi/hadoop/common/)
![](https://img-blog.csdn.net/20160918132247413?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
我选择的是stable2,再下载文件夹里面最大的文件
![](https://img-blog.csdn.net/20160918132557821?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
解压下载的文件,复制解压后文件的路径;
在解压的文件中找到etc/hadoop/hadoop-env.sh,修改该文件中export
JAVA_HOME={你的java
home地址};
命令行 cd 你的解压后的文件路径
$ bin/hadoop
到这一步Hadoop基本可以算是装好了,接下来就是配置和实践伪分布式
配置:
![](https://img-blog.csdn.net/20160918134602807?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
本人初学Hadoop,目前对它还不是很了解,先放一段别人的文章里对Hadoop的介绍:http://www.ifzer.com/2014/10/31/how_to_install_hadoop_on_mac_ox_x/
Hadoop是Apache基金会下的项目,它能够处理非常大的数据集在分布式计算环境,它可以运行在三种模式下:
独立式
Hadoop运行所有的东西在无后台的单独的JVM中,这种模式适合在开发阶段测试与Debug MapReduce程序
伪分布式
Hadoop做为后台应用运行在本地机器,模拟小集群
全分布式
Hadoop做为后台应用运行真实的集群电脑中
安装步骤:
主要是按照这篇文章做的(http://zhongyaonan.com/hadoop-tutorial/setting-up-hadoop-2-6-on-mac-osx-yosemite.html),参考了官网教程(https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html)
1. 确定安装了java,网上有说要1.6+以上,我安装的是1.8
$ java -version
java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)
2. 确定可以用ssh远程登录
直接在命令行输 ssh localhost, 如果不能连接 再输 ssh -version, 如果能看到ssh版本说明电脑上已经安装了只需要配置;
首先在系统偏好设置-》共享-》勾选远程登录
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub>> ~/.ssh/authorized_keys
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'localhost' (RSA) to the list of known hosts.
3. 查看java home的位置
如果已经装了jdk,查看jdk所在的位置:(https://dzone.com/articles/java-findingsetting)(配置java_home,参考http://www.mkyong.com/java/how-to-set-java_home-environment-variable-on-mac-os-x/)
/usr/libexec/java_home -V
/Library/Java/JavaVirtualMachines/jdk1.8.0_60.jdk/Contents/Home(这是我的java home)
4.从官网下载最新稳定版Hadoop(http://www.apache.org/dyn/closer.cgi/hadoop/common/)
我选择的是stable2,再下载文件夹里面最大的文件
解压下载的文件,复制解压后文件的路径;
在解压的文件中找到etc/hadoop/hadoop-env.sh,修改该文件中export
JAVA_HOME={你的java
home地址};
命令行 cd 你的解压后的文件路径
$ bin/hadoop
到这一步Hadoop基本可以算是装好了,接下来就是配置和实践伪分布式
配置:
相关文章推荐
- Hadoop笔记之安装及伪分布式模式配置
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群
- hadoop学习笔记之-hbase完全分布模式安装
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- hadoop学习(mac 上安装 hadoop伪分布式以及hadoop的eclipse插件)
- Linux CentOS下Hadoop分布式安装笔记2
- Linux CentOS下Hadoop伪分布模式安装笔记
- Linux CentOS下Hadoop伪分布模式安装笔记
- hadoop学习笔记之--完全分布模式安装
- Ubuntu下安装配置Hadoop独立模式和伪分布式
- hadoop单机模式和伪分布式模式安装过程
- 在centos虚拟机中安装hadoop(伪分布式模式)
- Hadoop2安装——伪分布式模式
- Hadoop单机版和全分布式安装笔记
- Ubuntu下伪分布式模式Hadoop的安装及配置
- Hadoop CDH5 手动安装伪分布式模式
- Hadoop的安装(伪分布式模式和分布式模式)
- CentOS下Hadoop伪分布模式安装笔记