1.Spark大型电商项目实战简介
2017-02-24 11:30
579 查看
目录
目录项目介绍
模块介绍
用户访问session分析
页面单跳转化率统计
热门商品离线统计
广告流量实时统计
环境介绍
项目介绍
本项目主要用于互联网电商企业中,使用Spark技术开发的大数据统计分析平台,对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行复杂的分析。用统计分析出来的数据,辅助公司中的PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。本项目使用了Spark技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL和Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用户访问session分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计4个业务模块。
在项目中,重点介绍符合实际企业项目中的性能调优、troubleshooting以及数据倾斜等知识和技术,同时以企业级大数据项目开发流程贯穿每个业务模块的讲解,涵盖了项目开发全流程,包括需求分析、方案设计、数据设计、编码实现、测试以及性能调优等环节,全面还原真实大数据项目的开发流程。
模块介绍
用户访问session分析
该模块主要是对用户访问session进行统计分析,包括session的聚合指标计算、按时间比例随机抽取session、获取每天点击、下单和购买排名前10的品类、并获取top10品类的点击量排名前10的session。该模块可以让产品经理、数据分析师以及企业管理层形象地看到各种条件下的具体用户行为以及统计指标,从而对公司的产品设计以及业务发展战略做出调整。主要使用Spark Core实现。页面单跳转化率统计
该模块主要是计算关键页面之间的单步跳转转化率,涉及到页面切片算法以及页面流匹配算法。该模块可以让产品经理、数据分析师以及企业管理层看到各个关键页面之间的转化率,从而对网页布局,进行更好的优化设计。主要使用Spark Core实现。热门商品离线统计
该模块主要实现每天统计出各个区域的top3热门商品。然后使用Oozie进行离线统计任务的定时调度;使用Zeppeline进行数据可视化的报表展示。该模块可以让企业管理层看到公司售卖的商品的整体情况,从而对公司的商品相关的战略进行调整。主要使用Spark SQL实现。广告流量实时统计
该模块负责实时统计公司的广告流量,包括广告展现流量和广告点击流量。实现动态黑名单机制,以及黑名单过滤;实现滑动窗口内的各城市的广告展现流量和广告点击流量的统计;实现每个区域每个广告的点击流量实时统计;实现每个区域top3点击量的广告的统计。主要使用Spark Streaming实现。环境介绍
CentOS 6.4CDH 5.3.6
Spark 1.5.1
ZooKeeper 3.4.5
Kafka
Flume
Java(Scala)
Eclipse
更多文章:Spark大型电商项目实战:http://blog.csdn.net/u012318074/article/category/6744423
相关文章推荐
- 高并发,分布式,高可用,性能调优,系统架构,大型电商项目实战
- java架构师,高并发,分布式,缓存架构,主从复制,高可用集群,负载均衡,大型电商项目实战教程
- 【备忘】2017Spark 2.0大型项目实战:移动电商app交互式数据分析
- Spark大型项目实战:电商用户行为分析大数据平台
- (B2C网上商城)分布式大型电商实战项目
- Spark 2.0大型项目实战:移动电商app交互式数分析平台
- 分布式大型电商实战项目搭建教程
- 企业级JAVA大型分布式电商项目实战高并发集群分布式系统架构视频教程下载
- Spark 2.0大型项目实战:移动电商app交互式数据分析平台(大数据高端课程) 下载
- java大型分布式电商项目实战高并发集群分布式系统架构
- Spark大型项目实战:电商用户行为分析大数据平台
- “大型票务系统”和“实物电商系统”和企业其他部门的依赖关系对项目管理的影响
- 01 (maven+SSH)网上商城项目实战之项目简介
- 初学者福利:java从零基础到真正大型企业的项目实战开发学习资源
- 01 (maven+SSH)网上商城项目实战之项目简介
- 01 (maven+SSH)网上商城项目实战之项目简介
- 【项目实战】基于Extjs+SpringMVC+Spring+Mybatis整合的进销存管理系统详解----项目简介(第一讲)
- J2EE实战视频教程:LigerUI+JBPM5+Node.js的J2EE大型金融项目
- C#大型电商项目优化(二)——嫌弃EF与抛弃EF
- JavaEE大型项目实战视频教程