大数据开发基础上学习笔记

1.hadoop2环境搭建

下载了Hadoop2.5.2，在Ubuntu16.04下安装，按照视频的步骤配置好hadoop开发环境。
成功启动：



在浏览器中可以看到hdfs和yarn运行状况

2.学习hadoop2中的hdfs和yarn

hadoop2和之前学习的Hadoop1主要区别在于增加了yarn组件，不仅可以支持mapreduce，还可以支持其他的数据处理工具。与hadoop1中jobtracker不同的是yarn中的resourcemanager只负责资源的分配。





视频里的hadoop-eclipse插件，非常好用，可以直接建立mapreduce项目而不用手动导入classpath，还可以在eclipse中显示hdfs，并在hadoop中运行程序

3.MapReduce

这里用到的mapreduce程序的编写和之前学习过的hadoop1中基本相同，就不再赘述了。