电商用户行为分析大数据平台相关系列2-HADOOP环境搭建

1、HADOOP

1.1 HADOOP安装

1.1.1、下载、解压

1.1.2、配置环境变量（/etc/profile或者~/.bashrc），环境变量生效

1.1.3、配置Hadoop文件，并创建对应目录

修改core-site.xml

<property>
<name>fs.default.name</name>
<value>hdfs://spark1:9000</value>
</property>

修改hdfs-site.xml

<property>
<name>dfs.name.dir</name>
<value>/usr/local/data/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/data/datanode</value>
</property>
<property>
<name>dfs.tmp.dir</name>
<value>/usr/local/data/tmp</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>

修改mapred-site.xml

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

修改yarn-site.xml

<property>
<name>yarn.resourcemanager.hostname</name>
<value>spark1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

修改slaves文件

spark2
spark3

1.2初始化、启动

1.2.1、格式化namenode

hdfs namenode -format

1.2.2、 启动、关闭hdfs

start-dfs.sh
stop-dfs.sh

1.2.3、 验证

jps验证

spark1启动服务：namenode、secondarynamenode

spark2（spark3）启动服务：datanode

访问http://spark1:50070

1.3、启动、验证yarn服务

1.3.1、启动yarn

start-yarn.sh

1.3.2、验证yarn

jps验证

sparkproject1：resourcemanager、nodemanager

sparkproject2：nodemanager

sparkproject3：nodemanager

访问http://spark1:8088

该系列笔记：

电商用户行为分析大数据平台相关系列1-环境介绍

电商用户行为分析大数据平台相关系列2-HADOOP环境搭建

电商用户行为分析大数据平台相关系列3-HIVE安装

电商用户行为分析大数据平台相关系列4-ZOOKEEPER安装

电商用户行为分析大数据平台相关系列5-KAFKA安装

电商用户行为分析大数据平台相关系列6-flume安装

电商用户行为分析大数据平台相关系列7-spark安装