深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)
2014-01-14 13:17
537 查看
我这里有一套课程和大家分享,我的qq是2059055336,有兴趣的朋友可以和我聊天。 [align=left]一、本课程是怎么样的一门课程(全面介绍)[/align] [align=left] 1.1、课程的背景[/align] [align=left]作为企业Hadoop应用的核心产品,Hive承载着FaceBook、淘宝等大佬 95%以上的离线统计,很多企业里的离线统计甚至全由Hive完成,如我所在的电商。[/align] [align=left]Hive在企业云计算平台发挥的作用和影响愈来愈大,如何优化提速已经显得至关重要。[/align] [align=left]Hive作业的规模决定着优化层级,一个Hive作业的优化和一万的Hive作业的优化截然不同。[/align] 拥有1万多个Hive作业的大电商如何进行Hive优化的?本系列课结合企业实战和场景从作业架构层面、Hql(Hive sql)语法层面、Hive参数层面依次讲述。 [align=left] 1.2、课程内容简介[/align] [align=left]当然,好的架构胜过任何优化,有哪些策略构建好Hive Job架构?[/align] [align=left]好的Hql同样会效率大增,如何写出高效的Hql?[/align] [align=left]修改Hive参数,有时也能起到很好的效果[/align] [align=left]1.3、课程大纲[/align] [align=left] 第一章:架构方面优化策略(5讲)[/align] Hadoop的主要性能瓶颈是IO负载,降IO负载是优化的重头戏。 本章大纲: 作业架构优化手段大探底 多个降IO负载的策略和场景... 分表、源表归纳 合理设计表分区、动态分区 压缩、分布式缓存 [align=left] 第二章:Hive Sql语法层面和Properties参数层面优化(4讲)[/align] 语法优化手段归纳 Map数和Reduce数的决定和控制及案例分析 数据倾斜的避免和解决办法 执行计划剖析,从执行计划上找倾斜根本 Properties参数 高效Join、MapJoin、SEMI JOIN 减少Job 合并MR Mapreduce中间参数 [align=left] 第三章:Impala熟悉和使用(1讲)[/align] Impala是Cloudera 公司推出仿Hive的一个产品,目前已经有稳定的发行版本。 理论上性能比Hive好,但目前版本功能和扩展性上远不能替代Hive。 未来该产品或会有一定影响力。 特点:同Hive一样是类sql产品 公用Hive的元数据库 [align=left]第一讲:Hive体系结构及Hive作业形式[/align] [align=left]第二讲:Hive优化策略大探底及架构优化案例一[/align] [align=left]第三讲:架构优化案例二之降IO负载策略I[/align] [align=left]第四讲:架构优化案例二之降IO负载策略II[/align] [align=left]第五讲:架构优化案例二之降IO负载策略III—压缩和分布式缓存[/align] [align=left]第六讲:Hive语法、参数层面优化一[/align] [align=left]第七讲:Hive语法、参数层面优化二[/align] [align=left]第八讲:Hive语法、参数层面优化三[/align] |
相关文章推荐
- 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)
- 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)
- 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布式缓存(企业Hadoop应用核心产品)
- Hive企业级架构优化教程 Hive Sql优化、压缩和分布式缓存视频教程
- 深入浅出Hive企业级架构优化、Hive Sql优化、压缩和分布
- 深入浅出Hive企业级架构优化视频教程
- 深入浅出Hive企业级架构优化视频教程
- 深入浅出Hive企业级架构优化视频教程
- 基于Web的企业级应用因用户UI的友好性,导致大量核心企业应用项目失败---我们该如何应对?
- 深入浅出Hadoop实战开发(HDFS实战图片、MapReduce、HBase实战微博、Hive应用)
- 深入浅出数据仓库中SQL性能优化之Hive篇
- 大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- 企业核心基础架构优化
- 产品运维角度分析大型互联网应用架构设计与优化的“4要素”
- Hadoop 及 Hive 压缩应用
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- 深入浅出Hadoop实战开发(HDFS实战图片、MapReduce、HBase实战微博、Hive应用)
- .Net+SQL Server企业应用性能优化笔记4——精确查找瓶颈
- .NET应用架构设计—重新认识分层架构(现代企业级应用分层架构核心设计要素)
- 详解Hadoop核心架构HDFS+MapReduce+Hbase+Hive