初探大数据-开发环境安装-实战二
2018-03-02 16:24
281 查看
软件存放目录
hadoop/hadoop
/home/hadoop
software: 存放的是安装的软件包
app : 存放的是所有软件的安装目录
data: 存放的是课程中所有使用的测试数据目录
source: 存放的是软件源码目录
Hadoop环境搭建
1) 下载Hadoop
http://archive.cloudera.com/cdh5/cdh/5/
2.6.0-cdh5.7.0
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
2)安装jdk
下载
解压到app目录:tar -zxvf jdk-7u51-linux-x64.tar.gz -C ~/app/
验证安装是否成功:~/app/jdk1.7.0_51/bin ./java -version
建议把bin目录配置到系统环境变量(~/.bash_profile)中
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51
export PATH=$JAVA_HOME/bin:$PATH
3)机器参数设置
hostname: hadoop001
修改机器名: /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop001
设置ip和hostname的映射关系: /etc/hosts
192.168.199.200 hadoop001
127.0.0.1 localhost
ssh免密码登陆(本步骤可以省略,但是后面你重启hadoop进程时是需要手工输入密码才行)
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
4)Hadoop配置文件修改: ~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5)格式化HDFS
注意:这一步操作,只是在第一次时执行,每次如果都格式化的话,那么HDFS上的数据就会被清空
bin/hdfs namenode -format
6)启动HDFS
sbin/start-dfs.sh
验证是否启动成功:
jps
DataNode
SecondaryNameNode
NameNode
浏览器
http://hadoop001:50070/
7)停止HDFS
sbin/stop-dfs.sh
hadoop/hadoop
/home/hadoop
software: 存放的是安装的软件包
app : 存放的是所有软件的安装目录
data: 存放的是课程中所有使用的测试数据目录
source: 存放的是软件源码目录
Hadoop环境搭建
1) 下载Hadoop
http://archive.cloudera.com/cdh5/cdh/5/
2.6.0-cdh5.7.0
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
2)安装jdk
下载
解压到app目录:tar -zxvf jdk-7u51-linux-x64.tar.gz -C ~/app/
验证安装是否成功:~/app/jdk1.7.0_51/bin ./java -version
建议把bin目录配置到系统环境变量(~/.bash_profile)中
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51
export PATH=$JAVA_HOME/bin:$PATH
3)机器参数设置
hostname: hadoop001
修改机器名: /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop001
设置ip和hostname的映射关系: /etc/hosts
192.168.199.200 hadoop001
127.0.0.1 localhost
ssh免密码登陆(本步骤可以省略,但是后面你重启hadoop进程时是需要手工输入密码才行)
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
4)Hadoop配置文件修改: ~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
hadoop-env.sh
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_51
core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/tmp</value>
</property>
hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
5)格式化HDFS
注意:这一步操作,只是在第一次时执行,每次如果都格式化的话,那么HDFS上的数据就会被清空
bin/hdfs namenode -format
6)启动HDFS
sbin/start-dfs.sh
验证是否启动成功:
jps
DataNode
SecondaryNameNode
NameNode
浏览器
http://hadoop001:50070/
7)停止HDFS
sbin/stop-dfs.sh
相关文章推荐
- 初探大数据-开发环境介绍-实战一
- nodejs初探(一)环境搭建,开发工具安装
- docker实战1 (docker-toolbox的安装,docker基础命令详解[运行,容器导入/导出,镜像导入/导出,数据卷,网络],构建100个docker实例的测试环境)
- Android初探:LINUX(Ubuntu)下安装开发环境
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0016--IDEA搭建非maven管理的集成开发环境001
- 【大数据】开发环境搭建(一):Linux安装以及配置环境Nat
- java基础--JDK安装、环境变量配置、工具开发第一个程序、数据类型、运算符
- Python数据分析与挖掘实战(开发流程及常用库安装)
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0020--IDEA搭建maven管理的集成开发环境002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0018--IDEA搭建非maven管理的集成开发环境003
- Android初探:LINUX(Ubuntu)下安装开发环境
- Java Web开发实战(一)—JDK安装及环境变量配置
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0017--IDEA搭建非maven管理的集成开发环境002
- 【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0019--IDEA搭建maven管理的集成开发环境001
- 《大数据可视化实战:d3.js深度应用》-02 开发环境配置
- mybatis实战教程之开发环境搭建、以接口的方式编程、实现数据的增删改查
- Android初探:LINUX(Ubuntu)下安装开发环境
- 高效的大数据开发环境搭建及实战
- USRP实战——1.硬件安装和构建开发环境
- 【一步一步,从无到有 --- 安卓项目实战】 Android开发环境的安装