“大数据分析高级工程师”培训

“大数据分析高级工程师”培训

课程背景：
随着云时代的来临，大数据技术将具有越来越重要的战略意义。大数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产要素，人们对于海量数据的运用将预示着新一轮生产率增长和消费者盈余浪潮的到来。大数据分析技术将帮助企业用户在合理时间内攫取、管理、处理、整理海量数据，为企业经营决策提供积极的帮助。大数据分析作为数据存储和挖掘分析的前沿技术，广泛应用于物联网、云计算、移动互联网等战略性新兴产业。虽然大数据目前在国内还处于初级阶段，但是其商业价值已经显现出来。为加强大数据分析创新发展顶层设计和科学布局，推动相关人员更好理解和掌握大数据分析的关键技术原理、未来发展方向，为此培养大数据分析高级工程师。

培训对象：
IT公司数据分析师、数据中心架构师、商业智能分析师、研发负责人、研发工程师、各地政府云计算、物联网产业负责人，CIO、信息中心、技术总监，云计算产业投资团队，云计算应用开发商，云计算硬件设备、运营服务提供商，高校、科研院所云计算项目负责人。

高级开发工程师、设计师、架构师、系统管理员、开发经理、测试经理、产品经理、项目经理等。

培训证书：
工业和信息化部人才交流中心颁发的《工业和信息化领域急需紧缺人才》大数据分析高级工程师证书。证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。证书查询：www.ncie.gov.cn

课程大纲：
第一天

一、大数据挖掘分析简介

大数据发展历程以及hadoop起源 大数据定义和传统手段遇到的瓶颈 Hadoop怎么解决大数据问题的 Hadoop生态系统简介 Hadoop体系下主要的分析手段 Hadoop中优秀的软件设计和体系架构思想

二、大数据与Hadoop

伪分布式和完全分布式hadoop的安装 Hadoop常用配置项解读 Hadoop分布式文件系统原理 Hdfs常用命令演示 Mapreduce的工作原理 Hadoop自带的example演示 手动编写mapreduce示例程序 Hadoop常见故障分析与解决

第二天

一、大数据分析核心工具之mapreduce和pig

高级mapreduce开发演示：combiners、partitioner;MRUnit;分布式缓存;join;二次排序等) Mapreduce开发之分布式缓存 mapreduce模拟sql语言的各种操作

二、除mapreduce外的hadoop数据分析工具介绍

Pig之piglatin语言 Pig之udf扩展 Pig案例

三、大数据分析核心工具之hive以及与现有工具流整合

Hive深入介绍 Hive之hql语言 Hive之udf扩展 Hive示例 一个完整的数据分析案例(分别使用mapreduce、pig、hive进行分析) 集成Hadoop到现有工作流(使用sqoop)(关系数据库管理系统;利用Sqoop从关系型数据库系统中导入数据到Hadoop)

第三天

一、大数据分析架构之分布式数据库：Nosql与Hbase

Nosql简介 常见Nosql介绍 Hbase介绍 Hbase体系架构 Hbase安装(含本地、伪分布式、完全分布式) Hbase操作演示 Hbase应用案例

二、大数据分析核心技术在企业中的应用以及Hadoop调优

Hadoop调优 Hadoop在企业中如何使用 (企业案例以及hadoop在企业IT架构中的位置) Hadoop体系中单点解决方案(namenode,jobtracker,hive等) Hadoop生态环境其他产品在企业中的应用

师资力量：
肖老师

计算机专业 现任天云科技(北京云基地)云计算解决方案咨询师，负责GOV、运营商等行业的售前咨询。具有十多年IT行业经验，熟悉软件系统架构设计，主要专业特长包括数据库优化、云管理平台设计、分布式计算和存储系统设计，全文检索等领域。曾在美国纽约曼哈顿工作过一年，熟悉SIP软交换、CDN加速、Hadoop、对象存储等技术。具有丰富的项目实践和教学经验，对IT职业培训有深刻的理解。曾参与多个运营商和大型银行系统架构设计，在高可用性高性能大容量系统领域有深入的研究，能够结合实际,在复杂的应用环境中选择适合的分析技术来降低运维风险、缩短停机时间、提高运维服务水平。担任多个行业的云计算解决方案咨询顾问。多次全国巡讲。授课过程理论与实践并重，深入浅出，讲课诙谐幽默、气氛活跃，深受广大学员好评。

王老师

北京航空航天大学教授。主要研究方向是分布式系统，大规模数据计算系统及关键技术等。2007年以来，作为技术总负责人参与国家863计划课题“中国国家网格软件研究与开发”，负责软件总体设计和核心技术研发。参与XtreemOS，OMII-EU/OMII-UK欧盟第六框架和英国e-Science国际合作项目。先后参与国家科技支撑项目《增强型搜索引擎研究及示范应用》、《北京市安全局物联网安全监控项目》、《2012年伦敦奥运会国家女排运动视频分析与设计》、《中国移动POC项目设计与开发》、《华为公司网络高级应用协议测试》《汽车制造工艺开发平台》、《工商系统食品在线监管》项目。在国内外期刊多次发表学术论文及学术著作。