Hadoop学习笔记(准备与安装)
2015-07-22 09:44
701 查看
HDFS--分布式文件存储,MapReduce--分布式计算,HBase。
推荐书籍:实战Hadoop 刘鹏(适合初学者),Hadoop实战 陆嘉恒(有hadoop的开发经验),Hadoop分布式文件系统深度解析( 熟练的高手)。
Hadoop的三种运行模式:
单机模式:仅作为调试使用,几乎可以不作任何配置。
伪分布模式:在单节点上同时启动namenode、datenode、jobtracker、tasktracker、secondlynamenode 五个进程,模拟分布式运行各个节点(仅需一个节点,适合条件不充足的情况)。
完全分布式模式:正常的hadoop集群,由多个各司其职的节点构成( 建议至少三个节点)。
伪分布式的安装:
(1)下载并解压hadoop安装包
(2)进入hadoop解压目录。编辑hadoop-env.sh文件。
(3)编辑core-site.xml,hdfs-site.xml,mapred-site.xml三个核心配置文件。
(4)配置ssh,生成密匙。使到ssh可以免密码连接localhost。(集群中的各个节点连接均无需密码)。
(5)格式化HDFS。
(6)启动hadoop。
(7)关闭hadoop。
推荐书籍:实战Hadoop 刘鹏(适合初学者),Hadoop实战 陆嘉恒(有hadoop的开发经验),Hadoop分布式文件系统深度解析( 熟练的高手)。
Hadoop的三种运行模式:
单机模式:仅作为调试使用,几乎可以不作任何配置。
伪分布模式:在单节点上同时启动namenode、datenode、jobtracker、tasktracker、secondlynamenode 五个进程,模拟分布式运行各个节点(仅需一个节点,适合条件不充足的情况)。
完全分布式模式:正常的hadoop集群,由多个各司其职的节点构成( 建议至少三个节点)。
伪分布式的安装:
(1)下载并解压hadoop安装包
(2)进入hadoop解压目录。编辑hadoop-env.sh文件。
(3)编辑core-site.xml,hdfs-site.xml,mapred-site.xml三个核心配置文件。
(4)配置ssh,生成密匙。使到ssh可以免密码连接localhost。(集群中的各个节点连接均无需密码)。
(5)格式化HDFS。
(6)启动hadoop。
(7)关闭hadoop。
相关文章推荐
- OFBiz + Opentaps 目录管理 四. 产品(一)定义产品 - Jason的个人空间 - 开源中国社区
- Linux下dmesg命令处理故障和收集系统信息的7种用法
- CentOS-6.3 安装Mysql集群
- Linux 下安装配置 JDK环境
- 基本shell编程【2】-服务端发布脚本
- linux ftp服务配置详细讲解
- 使用PostSharp在.NET平台上实现AOP
- OpenJudge - 2815:城堡问题
- 启动Linux上Weblogic Server报错: <BEA-141281> <unable to get file lock, will retry ...>
- FTP文件的上传和下载---org.apache.commons.net.ftp.FTPClient
- linux下vi编辑器回格不能删除内容,并且使用方向键也会有问题
- Linux中软链接与硬链接
- ubuntu14.04+opencv2.4.x 的PTAM配置
- hbase常用的shell命令例子
- AudioPolicyService与HAL接口
- 有关云架构建设和选型的思考
- Nginx 配置php-fpm(或者Fast_cgi等等)——File Not find!
- 目录、目录项、超级块、索引节点、文件
- JVM原理之整体架构
- Hadoop入门进阶课程11--Sqoop介绍、安装与操作