您的位置:首页 > 运维架构

Hadoop高级应用实战 robby大神讲师hadoop视频分享~

2013-10-24 17:05 351 查看
最近在学习robby老师的(Hadoop高级应用实战)这套教程,个人感觉非常不错,推荐给大家学习。教程一共有28讲,课程主要目的在于让学员了解项目:搜索引擎自动推荐、PageRank算法、 最短路径算法、好友智能推荐 ,技术:flume应用开发、Pipes,Hadoop Streaming ,特性:Hadoop集群管理、flume分布式应用 。

下载地址:http://yunpan.cn/Qb7Pu8EXRUVWS

有疑问也可以加我一起探讨QQ:1337784574 ID:踏雪寻梅

亮点一:技术先进,经典应用

新的课程采用了全新平台:Oracle VirtualBox + CentOs + 最新的Hadoop 1.x稳定版本,提供了更稳定,安全的平台,更加贴近企业级应用的真实环境。课程完整,详细的介绍并实现了多个Hadoop经典应用:搜索引擎自动推荐,好友智能推荐,最短路径算法,PageRank。他们代表了当前最成功,应用范围最广的Hadoop应用案例,特别是PageRank,更是Google赖以发家的法宝,直到如今,仍然是Google搜索引擎最为重要的技术。通过这些案例,对于学习如何开发成功的Hadoop应用有极大的帮助。

亮点二:内容实用,全面深入

非Java的MapReduce应用是Hadoop重要内容之一,Streaming和Pipes是将现有应用移植到Hadoop平台的重要技术。另外,Hadoop提供了海量数据的处理方案,但是如何进行原始数据收集,Apache Flume给出了答案,新的Apache Flume的解决方案,更加简单,实用和高效。课程还详细介绍了如何借助Hadoop提供的工具,对集群中的节点进行有效的管理,这些都是一个Hadoop管理人员必备知识。

亮点三:讲师丰富的电信集团云平台运作经验

讲师robby拥有丰富的电信集团工作经验,目前负责云平台的各方面工作,并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求,绝不纸上谈兵。

第1章节: (4课时)

搜索引擎自动推荐(4课时)

> 新平台搭建: 使用VirtualBox创建CentOs虚拟机,并使用RPM的方式安装和使用Hadoop

> 内存数据库Redis的安装和基本使用

> 搜索引擎自动推荐算法讲解

> 使用JqueryUI + Ajax + Redis搭建前后台框架

> 使用Map Reduce实现数据统计算法

> 定制Map Reduce输出,将数据直接写入Redis内存数据库

第2章节: (3课时)

好友智能推荐 (3课时)

> 应用背景和算法详细讲解

> Web框架搭建Struts2 + Redis

> 使用Map Reduce结合Redis实现潜在好友查找算法

> 完整的应用逻辑实现:前台好友关注,后台潜在好友查找,再到前台潜在好友推荐

第3章节:(2课时)

Hadoop Streaming(2课时)

> 非Java的Map Reduce实现

> 如何使用脚本语言实现一个Map Reduce任务

> 如何使用C语言实现一个Map Reduce任务

第4章节: (1课时)

Hadoop Pipes (1课时)

> 基于Hadoop Pipes,使用C++实现Map Reduce任务

第5章节: (2课时)

Apache Flume基础 (2课时)

> Apache Flume概述

> Flume Agent详细介绍及使用

> 深入Flume子模块: Source, Sink及Channel的使用

第6章节: (3课时)

Flume实践及分布式应用 (3课时)

> 与搜索引擎自动推荐应用的结合

> 搭建分布式的flume应用

第7章节: (5课时)

最短路径算法的Hadoop实现(5课时)

> 最短路径算法介绍

> 如何使用MapReduce实现最短路径算法

> 找到城市任意公交站点之间的最短路径

第8章节: (3课时)

Hadoop集群管理(约3课时)

> Hadoop的日志管理

> 动态添加和删除Hadoop节点

> Namenode和Datanode目录结构介绍

> HDFS的数据安全性:fsimage和editlog

> Hadoop管理工具dfsadmin和fsck的使用

第9章节:(5课时)

PageRank算法的Hadoop实现(5课时)

> Google的成名之作:PageRank算法介绍

> 如何使用Hadoop实现PageRank算法

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: