0基础到大数据架构师（Hadoop+Spark）学习路线图

大数据时代掌握大数据概念和核心应用场景，彻底认识到大数据的重要性，以及能够有效把握未来大数据的发展方向。能够掌握hadoop的技术架构和底层原理，对分布式架构能够做到更深入的认识和体会，尤其是yarn框架的底层事件分发机制、轮询机制、多线程以及nio的组合应用。还有更重要的基于google的IPC通信技术。能够独立搭建hadoop集群、配置以及管理。能够灵活应用hadoop生态系统的各种技术进行数据处理。其中对Linux的技术知识也不可小觑，能够搭建各种仓库本地，比如ubuntu软件源、ambari、maven等等一系列组件，都是在企业中极其适用的技术。掌握spark和核心技术尤其是RDD的原理与使用，还有scala语言的掌握。

学习建议：
大数据技术内容非常广、且编程手段应用技术之深是普通项目无法可比。因此建议大家，前期的java基础部分一定要打牢，务必跟随我们的课程做的踏实掌握，全部吸收，每个案例和代码大家一定要手动操作完成，实践出真知是至理名言，同时我们会提供大量的技术书籍，大家在课余时间能够尽量阅读，增加知识面的宽度和深度。

学习路线图：

Hadoop基础环境搭建与3种模式配置

Hadoop第一季--基础知识实战视频课程
001.Hadoop介绍
002.Hadoop基础课程VMware安装
003.Hadoop基础课程Ubuntu下载与虚拟机下安装
004.Hadoop基础课程Ubuntu常用命令
005.Hadoop基础课程Ubuntu目录和权限
006.Hadoop基础课程Ubuntu软件包桌面程序以及增强工具
007.Hadoop基础课程Ubuntu本地软件源与ISO制作.
008.Hadoop基础课程Ubuntu克隆与Mac生成&网络连接方式
009.Hadoop在Ubuntu下安装JDK
010.Hadoop在Ubuntu下安装Hadoop

Hadoop第二季-1.配置独立模式视频课程
011.Hadoop配置独立模式
Hadoop第二季-2.伪分布式模式的配置视频课程
012.Hadoop配置伪分布式模式
Hadoop第二季-3.配置完全分布式模式视频课程
013.Hadoop配置完全分布模式之修改虚拟机名称和目录
014.Hadoop配置完全分布模式之修改登录提示和主机名
015.Hadoop配置完全分布模式之使用符号链接实现配置分离
016.Hadoop完全分布模式之克隆客户机与ssh远程无密登录
017.Hadoop配置完全分布模式之IP设置与远程拷贝与格式化启动
win7下面配置环境以及mapreduce架构分析与应用

Hadoop第三季-Win7下免搭建Cygwin视频课程

018.hadoop在Win7下免Cygwin安装以及第三方增强软件介入

019.Win7下免Cygwin安装续与NativeBug解决与Dexpot

Hadoop第四季-架构分析实战视频课程
020.Hadoop架构分析之单节点体系
021.Hadoop架构分析之集群结构分析
022.Hadoop架构分析之HDFS架构分析
023.Hadoop架构分析之NN和DN原生文档解读
024.Hadoop架构分析之启动脚本分析

Hadoop第五季-启动脚本分析视频课程
024.Hadoop启动脚本分析集群id的兼容与start-allcmd讲解
025.Hadoop启动脚本分析start-dfs与hadoop-config
026.Hadoop启动脚本分析hadoop.cmd命令
027.Hadoop启动脚本分析数据格式化与hdfs.cmd命令
028.Hadoop启动脚本分析mared和虚拟机参数的配置
029.Hadoop启动脚本分析start-yarn命令
030.Hadoop启动脚本分析yarn.cmd与yarn-evn.cmd命令
031.Hadoop架构分析之启动脚本分析终极hdsfs部分
032.Hadoop架构分析之启动脚本分析终极yarn部分

Hadoop第六季-MapReduce代码实现案例视频课程
033.Hadoop MapReduce初识
034.Hadoop MapReduce编写Mapper类
035.Hadoop MapReduce编写Reducer类
036.Hadoop MapReduce编写主函数类
037.Hadoop MapReduce独立模式运行程序

Hadoop第七季-MapReduce定制block限制+输入切割+副本数视频课程
038.Hadoop MapReduce集群模式下运行程序
039.Hadoop MapReduce集群模式调整配置与shell
040.Hadoop MapReduce集群模式调整配置最小块
041.Hadoop MapReduce集群模式调整配置考查数据分布
042.Hadoop MapReduce定制切割与副本数以及块大小定制
043.Hadoop MapReduce集群模式深入定制切割与切割法则考查
044.win7下配置networks文件映射主机名和端口号利于网络访问
045.MapReduce原理之物理导航+eclipse安装+后台启动+命令化
046.Hadoop MapReduce原理之Hadoop插件安装+配置+验证
047.Hadoop MapReduce原理之与大象装进冰箱的相似点
048.Hadoop MapReduce原理之进入流程图
049.Hadoop MapReduce原理之核心类Job和ResourceManager解读
050.Hadoop MapReduce原理之核心类NodeManager和MRAppMaster解读
051.Hadoop MapReduce原理核心类Yarn与MapTask与ReduceTask
052.Hadoop MapReduce原理之核心类RM与NM与AM的体系结构分析

Hadoop第八季-1.MapReduce原理探查准备视频课程
044.Hadoop MR win7下配置networks文件
045.Hadoop MapReduce原理之物理导航等命令化操作
046.Hadoop MapReduce原理之Hadoop插件安装+配置+验证
Hadoop第八季--2.MapReduce原理探查与大象关进冰箱+流程图视频课程
047.Hadoop MapReduce原理之与大象装进冰箱的相似点
048.Hadoop MapReduce原理之进入流程图
Hadoop第八季-3.MapReduce原理探查核心类整理分析视频课程
049.Hadoop MapReduce原理之核心类Job和ResourceManager解读
050.Hadoop MapReduce原理之核心类NodeManager和MRAppMaster解读
051.Hadoop MR原理之核心类Yarn与MapTask与ReduceTask解读
052.Hadoop MapReduce原理之核心类RM与NM与AM的体系结构分析

Hadoop第九季-1.MapReduce原理代码实战异常再现+Ant视频课程
053.Hadoop MapReduce原理代码实战之错误信息展现于分析
054.Hadoop MapReduce原理代码实战之Ant使用
Hadoop第九季--2.MapReduce原理代码实战Job提交推演视频课程
055.Hadoop MapReduce原理代码实战之Job提交推演
Hadoop第九季-3.MapReduce原理探查核心类整理分析视频课程
056.Hadoop MapReduce原理代码实战之Job初始化分析
057.Hadoop MapReduce原理代码实战之ResourceManager远程调试
YARN调度框架事件与Hadoop底层IPC和RPC通信原理解析

Hadoop第十季-YARN调度框架事件二次分发原理深度解析视频课程
058.Hadoop Yarn框架底层事件分发机制概述
059.Hadoop Yarn框架底层事件分发调试准备
060.Hadoop Yarn框架底层事件分发调试Async分发器调试
061.Hadoop Yarn底层事件分发调试RMApp事件处理调试+状态机变换
062.Hadoop Yarn框架底层事件分发调试之状态机事件触发原理

Hadoop第十一季-Hadoop底层IPC和RPC通信原理解析视频课程
063.Hadoop 底层IPC和RPC通信原理解析

Ambari、ZooKeeper、Hbase与Scala应用介绍与应用

Ambari第一季-ambari介绍、安装使用以及常见问题视频课程
069.Ambari Hadoop集群管理软件之介绍
070.Ambari Hadoop集群管理软件之下载安装配置启动登
071.Ambari之疑难问题解决与Root账户无密登录处理

Ambari第二季--集群管理本地软件栈构建与使用视频课程
072.Ambari Hadoop集群管理软件之HDP软件栈本地仓库搭建
073.Ambari Hadoop集群管理软件之AmbariServer通过本地仓库安装
074.Ambari Hadoop集群管理软件之Hadoop集群本地化安装

ZooKeeper第一季-ZK简介、下载与安装视频课程
1 001.ZooKeeper简介
2 002.ZooKeeper下载与安装

ZooKeeper第二季-Leader宕机演示、nc、zkCli命令使用视频课程
003.ZooKeeper分布式集群配制与Leader宕机测试
004.ZooKeeper分布式集群配制与nc Linux命令的网络通信利器
005.ZooKeeper分布式集群配制与zk四字符客户端指令
006.ZooKeeper分布式集群配制与zkCli.sh客户端程序使用

ZooKeeper第三季-ZK客户端编程API使用、观察者模式回调处理视频课程
007.ZooKeeper分布式集群协同之客户端API调用
008.ZooKeeper分布式集群协同之客户端API创建和删除path
009.ZooKeeper客户端API观察者模式与事件回调处理
HBase内功修炼实战视频课程
001.HBase介绍
002.HBase安装、体验
003.HBase完全分布式配置、启动与shell命令查看
004.HBase使用客户端API动态创建Hbase数据表并在Hbase下导出执行
005.HBase使用客户端API完成数据库CRUD操作
006.HBase使用新型API类库进行数据访问操作
007.HBase新API大批量插入以及hbase表结构与Hadoop文件系统
008.HBase与ZooKeeper组合应用以及在shell下操纵namespace.avi
Scala精通与实战编程视频课程
01.Scala介绍与安装
02.Scala基础
03.Scala操作符重载与Apply与包导入
04.Scala控制结构与函数
05.Scala异常处理与过程与延迟初始化
06.Scala数组与多维数组

征服Spark

征服Spark（一）入门与提高篇视频课程
01.Spark简介
02.Spark预编译版本下载安装与启动
03.Spark体验shell操作与wc操作与RDD介绍
04.Spark通过Maven进行源码编译安装
05.Spark搭建Maven本地仓库服务器
06.Spark通过本地Maven仓库服务器进行编译
07.Spark官方doc的宏观描述和优势说明
08.Spark独立集群模式部署和启动
09.Spark Master和Worker的webui查看以及FIFO作业调度讲解
10.Spark独立集群模式端口修改

征服Spark（二）Spark项目编译运行篇视频课程
11.Spark shell应用于addFile
12.Spark程序build的宏观介绍
13.通过交互模式初始化Maven项目
14.通过参数指定方式直接初始化Maven项目
15.准备java源文件到自己的源码包中
16.设置pom.xml文件依赖插件以及与自由仓库目录树的对应关系
17.使用mvn package指令进行编译并进行打包
18.使用java指令添加spark类库运行Spark程序
19.使用maven的exec执行插件运行java程序
20.配置eclipse的maven插件使用本地maven仓库服务器
21.eclipse之下maven项目的配置编译运行
22.eclipse之Scala插件的卸载与安装
23.eclipse下构建Scala程序以及运行
24.通过Scalac命令手动编译scala程序并执行
25.命令行下通过maven编译运行Scala程序
26.eclipse下通过maven+scala插件用Scala开发开发Spark应用
学习路线图：http://edu.51cto.com/roadmap/view/id-89.html