全新大数据企业电商数据仓库项目实战教程 张长志技术全才、擅长领域：区块链、大数据、Java等。10余年软件研发及企业培训经验，曾为多家大型企业提供企业内训如中石化，中国联通，中国移动等知名企业。拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统 ，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK类似框架。 张长志 ¥398.00 立即订阅

订阅后：请点击此处观看视频课程

 

视频教程-全新大数据企业电商数据仓库项目实战教程-大数据

学习有效期：永久观看

学习时长：1758分钟

学习计划：30天

难度：高

 

「[strong]口碑讲师带队学习，让你的问题不过夜」 [/strong]

讲师姓名：[strong]张长志 [/strong]

CTO/CIO/技术副总裁/总工程师

讲师介绍：张长志技术全才、擅长领域：区块链、大数据、Java等。10余年软件研发及企业培训经验，曾为多家大型企业提供企业内训如中石化，中国联通，中国移动等知名企业。拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统 ，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK类似框架。

☛点击立即跟老师学习☚

 

「你将学到什么？」

本教程为授权出品

一、课程简介
数据仓库（Data Warehouse，可简写为DW或DWH），是面向分析的集成化数据环境，为企业决策制定过程，提供系统数据支持的战略集合，是国内外各大公司正在重点投入的战略级技术领域。

二、课程内容
《大数据电商数仓项目实战》视频教程，从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现，我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍，Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等，CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置，透彻了解不同版本框架的区别联系，将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识，让你在掌握实战经验的同时能够打下坚实的理论基础。

三、课程目标
本课程以国内电商巨头实际业务应用场景为依托，对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解，具体指标包括：每日、周、月活跃设备明细，留存用户比例，沉默用户、回流用户、流失用户统计，最近连续3周活跃用户统计，最近7天内连续3天活跃用户统计，GMV成交总额分析，转化率及漏斗分析，品牌复购率分析、订单表拉链表的设计等，让学生拥有更直观全面的实战经验。通过对本课程的学习，对数仓项目可以建立起清晰明确的概念，系统全面的掌握各项数仓项目技术，轻松应对各种数仓难题。

四、课程亮点
本课程结合国内多家企业实际项目经验，特别加入了项目架构模块，从集群规模的确定到框架版本选型以及服务器选型，手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题，针对各个技术框架，均有调优实战经验，具体包括：常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习，助学生迅速成长，获取前沿技术经验，从容解决实战问题。

 

「课程学习目录」

1.01_数仓项目介绍

2.02_数仓采集_用户行为采集课程介绍

3.03_数仓采集_数仓的概念

4.04_数仓采集_项目需求

5.05_数仓采集_项目技术选型

6.06_数仓采集_系统数据流程设计

7.07_数仓采集_框架版本选型

8.08_数仓采集_框架版本具体型号

9.09_数仓采集_服务器选型

10.10_数仓采集_集群资源规划设计

11.11_数仓采集_测试集群服务器规划

12.12_数仓采集_埋点数据基本格式

13.13_数仓采集_事件日志数据（上）

14.14_数仓采集_事件日志数据（下）

15.15_数仓采集_日志生成代码编写

16.16_数仓采集_Logback日志打印控制

17.17_数仓采集_服务器准备

18.18_数仓采集_Hadoop安装

19.19_数仓采集_项目经验之HDFS多目录配置

20.20_数仓采集_项目经验之支持LZO压缩配置

21.21_数仓采集_项目经验之基准测试

22.22_数仓采集_项目经验之HDFS参数调优

23.23_数仓采集_Zookeeper安装

24.24_数仓采集_项目经验之ZK集群启动停止脚本

25.25_数仓采集_生成测试日志

26.26_数仓采集_集群日志生成启动脚本

27.27_数仓采集_集群时间同步修改脚本

28.28_数仓采集_集群所有进程查看脚本

29.29_数仓采集_每日回顾

30.30_数仓采集_日志采集Flume安装

31.31_数仓采集_Flume组件及配置

32.32_数仓采集_日志采集Flume配置分析

33.33_数仓采集_ETL拦截器

34.34_数仓采集_分类型拦截器

35.35_数仓采集_日志采集Flume启动停止脚本

36.36_数仓采集_Kafka集群安装

37.37_数仓采集_Kafka集群启动停止脚本

38.38_数仓采集_Kafka Manager安装及脚本

39.39_数仓采集_项目经验之Kafka压力测试

40.40_数仓采集_项目经验之Kafka机器数量计算

41.41_数仓采集_消费Kafka数据Flume

42.42_数仓采集_项目经验之Flume内存优化

43.43_数仓采集_项目经验之Flume组件

44.44_数仓采集_采集通道启动停止脚本

45.45_数仓采集_调试经验

46.46_数仓采集_面试题（Linux、Hadoop）

47.47_数仓采集_面试题（Flume、Kafka）

48.48_用户行为数仓_每日回顾

49.49_用户行为数仓_用户行为数仓课程介绍

50.50_用户行为数仓_为什么要分层

51.51_用户行为数仓_数仓分层

52.52_用户行为数仓_数据集市与数据仓库概念

53.53_用户行为数仓_数仓命名规范

54.54_用户行为数仓_Hive&MySQL安装

55.55_用户行为数仓_Hive运行引擎Tez

56.56_用户行为数仓_项目经验之元数据备份

57.57_用户行为数仓_ODS层启动日志和事件日志表创建

58.58_用户行为数仓_ODS层加载数据脚本

59.59_用户行为数仓_DWD层启动日志建表及导入数据

60.60_用户行为数仓_DWD层启动表加载数据脚本

61.61_用户行为数仓_DWD层事件基础明细表创建

62.62_用户行为数仓_自定义UDF函数（解析公共字段）

63.63_用户行为数仓_自定义UDTF函数（解析事件）

64.64_用户行为数仓_DWD层数据解析脚本

65.65_用户行为数仓_DWD层事件表加载数据脚本

66.66_用户行为数仓_今日回顾

67.67_用户行为数仓_业务术语

68.68_用户行为数仓_日期的系统函数

69.69_用户行为数仓_每日活跃设备明细

70.70_用户行为数仓_每周活跃设备明细

71.71_用户行为数仓_每月活跃设备明细

72.72_用户行为数仓_DWS层加载数据脚本

73.73_用户行为数仓_需求一：ADS层日活等

74.74_用户行为数仓_每日新增设备明细表

75.75_用户行为数仓_需求二：ADS层每日新增设备表

76.76_用户行为数仓_用户留存分析

77.77_用户行为数仓_1、2、3、n日留存用户明细

78.78_需求三：ADS层留存用户和留存比率

79.79_用户行为数仓_新数据准备

80.80_用户行为数仓_需求四：沉默用户

81.81_用户行为数仓_需求五：本周回流用户数

82.82_用户行为数仓_需求六：流失用户

83.83_用户行为数仓_需求七：最近连续3周活跃用户数

84.84_需求八：最近七天内连续三天活跃用户数

85.85_用户行为数仓_用户行为数仓业务总结

86.86_用户行为数仓_Hive企业面试题总结

87.87_业务数仓_业务数仓课程介绍

88.88_业务数仓_电商业务与数据结构简介

89.89_业务数仓_表的分类

90.90_业务数仓_同步策略

91.91_业务数仓_范式理论

92.92_业务数仓_雪花模型、星型模型和星座模型

93.93_业务数仓_配置Hadoop支持Snappy压缩

94.94_业务数仓_业务数据生成

95.95_业务数仓_Sqoop安装及参数

96.96_业务数仓_Sqoop导入数据

97.97_业务数仓_ODS层建表及数据导入

98.98_业务数仓_DWD层建表及导入数据

99.99_业务数仓_需求讲解

100.100_业务数仓_DWS层之用户行为宽表

101.101_业务数仓_需求九：GMV成交总额

102.102_需求十：ADS层之新增用户占日活跃用户比率

103.103_需求十一：ADS层之用户行为漏斗分析

104.104_业务数仓_用户购买商品明细表（宽表）

105.105_业务数仓_需求十二：ADS层品牌复购率

106.106_需求十三：求每个用户对应复购率前十商品排行

107.107_业务数仓_数据可视化

108.108_业务数仓_Azkaban安装

109.109_业务数仓_GMV指标获取的全调度流程

110.110_业务数仓_拉链表理论

111.111_业务数仓_拉链表制作

112.112_业务数仓_业务数仓项目总结

113.113_业务数仓_即席数仓课程介绍

114.114_即席数仓_Presto简介

115.115_即席数仓_Presto安装及使用

116.116_即席数仓_Presto优化

117.117_即席数仓_Druid概念、特点、场景

118.118_即席数仓_Druid对比其他框架

119.119_即席数仓_Druid框架原理

120.120_即席数仓_Druid数据结构

121.121_即席数仓_Druid安装

122.122_面试题_总体架构

123.123_面试题_技术框架

124.124_面试题_用户行为、业务数据、即席查询

125.125_面试题_开发经验

126.126_CDH数仓_课程介绍

127.127_CDH数仓_CM简介及架构

128.128_CDH数仓_CM安装环境准备

129.129_CDH数仓_CM、Hadoop、Zk安装

130.130_CDH数仓_采集Flume的安装

131.131_CDH数仓_Kafka安装

132.132_CDH数仓_测试Flume和Kafka安装

133.133_CDH数仓_消费Flume配置完成

134.134_CDH数仓_Hive、Oozie、Hue安装

135.135_CDH数仓_用户行为数仓ODS层导数据

136.136_CDH数仓_用户行为数仓完结

137.137_CDH数仓_业务数据生成

138.138_CDH数仓_业务数仓完结

139.139_CDH数仓_Oozie执行前准备

140.140_CDH数仓_Oozie任务编写及运行

141.141_CDH数仓_即席查询数仓搭建Impala

142.142_CDH数仓_Spark安装及总结

 

「[strong]7项超值权益，保障学习质量」 [/strong]

• 大咖讲解

技术专家系统讲解传授编程思路与实战。

• 答疑服务

专属社群随时沟通与讲师答疑，扫清学习障碍，自学编程不再难。

• 课程资料+课件

超实用资料，覆盖核心知识，关键编程技能，方便练习巩固。（部分讲师考虑到版权问题，暂未上传附件，敬请谅解）

• 常用开发实战

企业常见开发实战案例，带你掌握Python在工作中的不同运用场景。

• 大牛技术大会视频

2019Python开发者大会视频免费观看，送你一个近距离感受互联网大佬的机会。

• APP+PC随时随地学习

满足不同场景，开发编程语言系统学习需求，不受空间、地域限制。

 

「什么样的技术人适合学习？」

• 想进入互联网技术行业，但是面对多门编程语言不知如何选择，0基础的你
• 掌握开发、编程技术单一、冷门，迫切希望能够转型的你
• 想进入大厂，但是编程经验不够丰富，没有竞争力，程序员找工作难。

 

「悉心打造精品好课，[strong]30天学到大牛3年项目经验」 [/strong]

【完善的技术体系】

技术成长循序渐进，帮助用户轻松掌握

掌握大数据知识，扎实编码能力

【清晰的课程脉络】

浓缩大牛多年经验，全方位构建出系统化的技术知识脉络，同时注重实战操作。

【仿佛在大厂实习般的课程设计】

课程内容全面提升技术能力，系统学习大厂技术方法论，可复用在日后工作中。

 

「你可以收获什么？」

1.从项目架构的搭建，到数据采集模块的设计、数仓架构的设计、实战需求实现

2.在过程中对大数据生态体系进行了系统的讲解，对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。

 

订阅课程 开始学习